Tuto #10 : Analyser les logs de son site pour tracker les bots IA avec Claude

Avant d'aller plus loin : si vous n'avez pas vu les premiers tutos vous pouvez les consulter ici :

• #1 Tuto Skills Claude : comment bien commencer avec les MCP ?
• #2 Tuto Skills Claude : connecter ses données Google Search Console via MCP
• #3 Tuto Skills Claude : comment faire un audit SEO avec Claude ?
• #4 Tuto Skills Claude : connecter ses données Google Analytics via MCP
• #5 Tuto Skills Claude : analyser la SERP
• #6 Tuto Skills Claude : analyse de crawl SEO
• #7 Tuto Claude utiliser le MCP DataforSEO pour construire un dashboard de visibilité
• Tuto #8 Claude : audit de cannibalisation de pages avec le MCP DataForSEO
• Tuto #9 : Débuter avec Claude Code pour son SEO ?

Pourquoi analyser ses logs pour les bots IA ?

Les outils pour suivre sa visibilité dans les IA se multiplient. La plupart fonctionnent sur le même principe : vous entrez une liste de prompts, la plateforme les soumet quotidiennement à différents LLMs et vous dit si votre marque est citée, à quelle position, sur quels modèles. C'est simple et indispensable si vous travailler sur du GEO.

Mais il existe une autre source de données, qu'on n'exploite encore peu (de ce que je vois sur LinkedIn) pour mesurer sa présence dans les IA : les logs serveurs.

Ce que révèlent vraiment les logs sur les bots IA

Tous les bots IA ne font pas la même chose. C'est un point essentiel pour interpréter vos logs correctement.

• Les LLM Bots (entraînement) : GPTBot, ClaudeBot, CCBot Ils crawlent le web pour alimenter les données d'entraînement des modèles. Comportement de spider classique, large couverture, faible fréquence de retour sur les mêmes pages. Horizon long terme.
• Les User Bots (interaction utilisateur) : ChatGPT-User, Claude-User, Perplexity-User Ils visitent une page précise parce qu'un utilisateur vient de poser une question et que le LLM a décidé de lire cette page pour construire sa réponse. Ce sont les plus intéressants à suivre. Chaque hit est potentiellement une citation dans une réponse.
• Les Search Bots (indexation) : OAI-SearchBot, Claude-SearchBot, PerplexityBot Ils indexent les pages pour alimenter la fonctionnalité "search" de chaque LLM. Rôle intermédiaire entre l'entraînement et la réponse en temps réel.

Et maintenant place à la pratique !

Avant de commencer : il faut récupérer ses logs

Selon votre hébergeur, les logs sont accessibles à différents endroits.

1 - OVH / Shared hosting Dans votre manager OVH > Hébergement > Logs et statistiques. Vous pouvez télécharger les logs par jour au format .txt ou .gz.

2 - Serveur dédié / VPS Généralement dans /var/log/nginx/access.log ou /var/log/apache2/access.log. Pour les exporter : cp /var/log/nginx/access.log /home/user/logs-export.txt

3 - Cloudflare Via l'API Logpull (disponible sur les plans Enterprise) ou les Cloudflare Logs dans le dashboard.

Intégrer un Skill dédié :

Il y a deux méthodes pour l’installer :

1. Dans Claude Desktop :
1. Créez le dossier du skill dans votre répertoire skills :

mkdir -p ~/Library/Application\ Support/Claude/skills/ia-log-analysis

2. Copiez le fichier SKILL.md dans ce dossier. Le contenu complet est disponible en fin d'article.
3. Redémarrez Claude Desktop. Le skill est actif.
2. Dans l’interface de Claude :

Méthode 1 : Analyse directe dans Claude (fichier uploadé)

C'est la méthode la plus simple pour des fichiers de quelques Mo.

Étape 1 : Uploadez votre fichier de logs

Glissez votre fichier .txt ou .log directement dans la conversation Claude.

Étape 2 : Utilisez ce prompt d'analyse

Ce que Claude va produire

Méthode 2 : Dashboard interactif avec Claude (Artifact HTML)

On va demander ici à Claude de générer un dashboard HTML/JavaScript qui parse le fichier de logs directement dans le navigateur. Pas de serveur, pas de dépendance externe.

Exemple de prompt pour générer le dashboard :

Claude génère un fichier HTML autonome que vous sauvegardez en local. Double-cliquez dessus, glissez votre fichier de logs, et le dashboard se construit en quelques secondes.

Le gros avantage : vous pouvez l'envoyer à un client sans installation. Il ouvre le fichier, il uploade ses logs, il voit ses données.

Méthode 3 : Analyse avec Claude Code pour des gros volumes

Si vous gérez des logs de plusieurs centaines de Mo ou si vous voulez automatiser l'analyse sur plusieurs sites, Claude Code avec accès direct au système de fichiers est la bonne approche.

Pour cela vous pouvez uliser les fichiers suivans :

Claude Code va générer et exécuter un script Python directement, traiter même des fichiers de plusieurs Go, et sauvegarder les résultats dans votre dossier outputs.

Un Exemple de dashboard réalisé :

Interpréter les résultats : ce qui compte vraiment

Le signal User Bot

C'est votre KPI GEO principal. Chaque visite d'un User Bot sur une page HTML (hors ressource statique) est une opportunité de citation.

Sur un petit site comme l'exemple (ethicfirst.fr), 18 hits ChatGPT-User en une seule journée sur des pages thématiques précises, c'est un signal fort que ces pages sont régulièrement citées dans des réponses ChatGPT sur l'accessibilité numérique.

Le ratio User Bot / Search Bot

Si vous avez beaucoup de Search Bots (OAI-SearchBot) mais peu de User Bots (ChatGPT-User) : vos pages sont indexées mais pas sélectionnées pour répondre aux questions. Le problème est dans le contenu, pas dans l'accessibilité technique.

Les erreurs 4xx visitées par des User Bots

Ce sont des pages que ChatGPT essaie de lire pour répondre à un utilisateur, mais qui retournent une erreur. Chaque 404 sur une page visitée par ChatGPT-User est une citation ratée.

Les status 499

Le client (ici le bot IA) a coupé la connexion avant que le serveur ne réponde. Signe que votre TTFB est trop élevé. Les LLMs, contrairement à Google, ne patientent pas.

FOUCAULD HENIN

Senior SEO consultant et fondateur de 30A  

Je vous accompagne dans conception et la mise en place de vos chantiers SEO.

Après plusieurs expériences chez des retaillers, clients grand comptes et scale up, j’apporte une vision rationnelle et data driven dans les stratégies SEO.

Références : Oscaro, Total Energie, Intermarché, Oreegami

#bigquery #Looker #data analyse