Quels bots IA visitent vraiment votre site et que font-ils

---

Pour comprendre votre présence sur les moteurs génératifs, le suivi du crawl par les bots IA est un signal de premier ordre. Tous les sites n’attirent pas les mêmes bots, ni a la même fréquence. Cette tactique inventorie les bots actifs en avril 2026, décrit leurs comportements typiques, et explique comment lire leurs visites pour ajuster sa stratégie.

La cartographie des bots IA majeurs

Cinq bots concentrent l’essentiel du crawl IA en avril 2026. Chacun a une fonction différente et mérite d’être traite indépendamment.

Bot	Operateur	Fonction principale	Respecte robots.txt
GPTBot	OpenAI	Crawl pour entraînement de modèles	Oui
OAI-SearchBot	OpenAI	Indexation pour ChatGPT Search	Oui
ClaudeBot	Anthropic	Crawl pour entraînement et retrieval	Oui
PerplexityBot	Perplexity	Indexation pour le moteur de recherche	Oui
CCBot	Common Crawl	Archivage public, source d’entraînement multiple	Oui

A côté de ces cinq, on trouve d’autres bots moins fréquents : Google-Extended (signal opt-in/opt-out pour l’utilisation par Bard et AI Mode), Bytespider (TikTok/ByteDance), FacebookBot (Méta), Amazonbot (Alexa, Q). Leur volume varie fortement selon les sites.

GPTBot : le bot d’entraînement OpenAI

GPTBot, identifié via le user agent “GPTBot/1.1” depuis sa mise a jour de mi-2024, est le crawler d’OpenAI dédié a l’entraînement des modèles GPT. Il n’a pas de rôle dans le retrieval temps réel : ce qu’il crawle alimente le corpus d’entraînement du modèle suivant, qui sera distille puis deploye plusieurs mois plus tard.

Pour un site, être crawle par GPTBot a un effet structurel : le contenu peut finir dans le paramètres d’un futur modèle GPT, qui s’en servira lors de générations sans avoir besoin de retrieval, ce qui rejoint la logique d’ingestion d’entraînement. Le délai entré crawl et impact est long (six mois a un an), mais l’effet, lui, est durable.

OpenAI publié la liste des plages d’IP utilisées par GPTBot dans sa documentation officielle. Le respect de robots.txt est confirme : un site qui interdit GPTBot via “User-agent: GPTBot / Disallow: /” voit ses visites réduites a zéro en quelques jours.

OAI-SearchBot : le bot de retrieval de ChatGPT Search

OAI-SearchBot, apparu fin 2024, est le bot d’OpenAI dédié au retrieval temps réel pour ChatGPT Search. Quand un utilisateur pose une question dans ChatGPT en mode search, OAI-SearchBot peut déclencher un crawl frais sur des sites pertinents pour s’assurer de la fraicheur des informations.

Le comportement est différent de GPTBot. OAI-SearchBot a tendance a faire des passages plus courts mais plus fréquents, ciblant des pages spécifiques liees a des requêtes récentes. Une page mise a jour aujourd’hui peut être revisitee par OAI-SearchBot dans les 24-48 heures, alors que GPTBot peut prendre plusieurs semaines avant de revenir.

Pour un site qui privilegie la présence dans ChatGPT Search, c’est OAI-SearchBot qu’il faut autoriser et choyer (cache rapide, pas de blocage anti-bot trop agressif). Bloquer OAI-SearchBot est une erreur stratégique débutant pour qui vise la visibilité générative.

ClaudeBot : le bot Anthropic

ClaudeBot, identifié via “ClaudeBot/1.0” et ses variantes “claude-web” et “anthropic-ai”, couvre a la fois le crawl pour entraînement et une fonction de retrieval pour les usages agentiques de Claude. La distinction n’est pas toujours nette dans les logs.

Anthropic publié depuis 2024 une page dédiée qui détaille la politique de crawl. Le respect de robots.txt est confirme. Anthropic distingue trois user agents spécifiques : ClaudeBot pour l’usage général, Claude-User pour les interactions agentiques (quand un utilisateur Claude visite une page via l’agent), Claude-SearchBot pour le retrieval moteur (apparu plus récemment, en 2025).

Le volume ClaudeBot est généralement inférieur a celui de GPTBot pour la plupart des sites français, ce qui reflete la part de marché plus faible d’Anthropic en Europe par rapport a OpenAI. Mais le bot est très actif sur les sites tech et documentation, ce qui correspond au profil utilisateur de Claude (developpeurs, professions intellectuelles).

PerplexityBot : le bot du moteur

PerplexityBot, identifié via “PerplexityBot/1.0”, est le crawler de Perplexity. Sa fonction est purement orientee retrieval : Perplexity n’entraîne pas de modèle de fondation propre, donc le crawl alimente directement l’index utilisé par le moteur de réponse.

Le comportement de PerplexityBot est très réactif. Une page nouvellement publiée sur un site fréquente par Perplexity est typiquement crawled dans les 24 heures, parfois dans les heures qui suivent la publication. Cette réactivité reflete le positionnement de Perplexity sur la fraicheur de l’information.

Une remarque pratique : PerplexityBot est parfois accuse de ne pas respecter parfaitement robots.txt sur certains sites, ce qui a donné lieu a des polémiques publiques en 2024 et 2025. Anthropic et OpenAI sont généralement considérés comme plus disciplines sur ce point. Pour un site qui souhaite contrôler finement ses acces, surveiller spécifiquement PerplexityBot est une bonne pratique.

CCBot : le bot Common Crawl

CCBot, identifié via “CCBot/2.0”, est le crawler de Common Crawl, une fondation a but non lucratif qui produit un dataset public mensuel de pages web. Common Crawl ne crawle pas pour son propre compte : ses dumps sont utilisés ensuite par d’autres acteurs (chercheurs, entreprises IA, ONG) pour des usages varies.

Beaucoup des modèles de langage majeurs (GPT, LLaMA, Falcon, etc.) ont été entraînés en partie sur des dumps Common Crawl. Être présent dans Common Crawl signifie donc, indirectement, être disponible pour l’entraînement d’une grande partie des modèles open source et propriétaires actuels.

CCBot crawle de manière extensive mais relativement lente : un passage par mois pour les sites de taille moyenne, plus fréquent pour les grands sites. Son user agent est explicite et son respect de robots.txt confirme. C’est probablement le bot le plus universellement utile a autoriser, parce qu’il alimente l’ecosysteme entier, pas un seul moteur.

Lire ses logs : par ou commencer

Pour exploiter le monitoring des bots IA, il faut acceder aux logs serveur. Trois options classiques :

Cloudflare. Si vous etes derrière Cloudflare, le dashboard exposé les visites par user agent. Filtrer sur les noms de bots IA donné une vue d’ensemble en quelques clics, en complément du montage de monitoring en continu. C’est l’option la plus simple.

AWStats ou GoAccess. Pour les sites sur serveur propre, parser les logs Apache ou Nginx via AWStats ou GoAccess donné des rapports utilisables, gratuits et bien documentes.

Script Python ad hoc. Pour des analyses plus fines (par section du site, par type de page), un script Python qui parse les logs bruts permet de tout faire. La logique est simple et le script tient en quelques dizaines de lignes.

L’analyse minimale tient en trois questions. Quels bots viennent ? A quelle fréquence ? Sur quelles pages ?

Les patterns reveillateurs

Certains patterns dans les logs de bots IA sont particulièrement reveillateurs.

Une chute brutale du volume d’un bot (typiquement -80 pour cent en quelques jours) signale presque toujours un problème technique : robots.txt mal configure, pages bloquees par mistake, lenteur de réponse soudaine. C’est a investiguer immédiatement.

Une hausse soudaine du volume d’un bot spécifique sur certaines pages signale généralement une mention récente : quelqu’un a cité une de vos pages dans une discussion virale, le moteur s’en est apercu et est venu reverifier la fraicheur. C’est un signal positif a maintenir (ne pas modifier la page concernée dans la foulee).

Un deficit complet d’un bot majeur (par exemple, zéro visite PerplexityBot sur six mois) signale que votre site n’est pas encore découvert par ce moteur. Les causes possibles : domain trop récent, pas de backlinks vers le site, robots.txt accidentellement bloquant, ou tout simplement absence de mention sur les sites que le moteur fréquente. C’est un signal d’investissement (faire connaître le site) plus que d’optimisation.

Faut-il bloquer certains bots ?

La question revient régulièrement, surtout pour les sites éditoriaux qui craignent de “donner” leur contenu pour l’entraînement de modèles concurrents. La réponse dépend du modèle économique.

Pour un média commercial dont le revenu vient des visites humaines, bloquer GPTBot et CCBot peut sembler defensif. Mais l’effet collateral est de ne plus apparaître dans les futures générations de modèles, donc de perdre la visibilité générative. C’est un arbitrage stratégique, pas une évidence.

Pour un site B2B qui cherche la visibilité générative, autoriser tous les bots est généralement la bonne option. Le contenu est conçu pour être cité, le crawl est un avantage.

Pour un site qui produit du contenu juridiquement sensible (données personnelles, contenu sous licence stricte), un blocage cible peut être légitime. La règle générale : bloquer en sachant pourquoi, ne pas bloquer par réflexe.

Le blocage technique se fait par robots.txt, qui est respecte par les cinq bots cités. Une règle simple “User-agent: GPTBot / Disallow: /” suffit a bloquer GPTBot intégralement. Pour des règles plus fines, par section, par fichier, la syntaxe robots.txt classique s’applique. Les bots IA majeurs respectent les directives en avril 2026, contrairement aux croyances repandues sur les réseaux sociaux.

Questions frequentes

Les questions les plus posees a la redaction sur ce sujet, avec des reponses courtes verifiables.

1. Quels bots IA faut-il identifier en priorite ?

   Cinq bots majeurs: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, CCBot. Ils concentrent l'essentiel du crawl IA en 2026. D'autres bots existent (Google-Extended, Bytespider, Applebot-Extended) mais ces cinq sont incontournables.

2. Quelle est la difference entre GPTBot et OAI-SearchBot ?

   GPTBot crawle pour l'entrainement futur des modeles OpenAI. OAI-SearchBot crawle pour le retrieval temps reel de ChatGPT Search. Les deux sont distincts: bloquer GPTBot ne bloque pas OAI-SearchBot et reciproquement.

3. Tous les bots IA respectent-ils robots.txt ?

   Pas tous, et pas avec la meme rigueur. Les bots des grands editeurs (OpenAI, Anthropic, Perplexity) respectent generalement robots.txt. Certains bots moins connus l'ignorent. Le monitoring des logs serveur est plus fiable que la simple declaration robots.txt.

4. Faut-il bloquer ces bots ?

   Cela depend de la strategie. Bloquer GPTBot empeche l'entrainement futur sur le contenu mais pas la citation actuelle. Bloquer OAI-SearchBot empeche la citation dans ChatGPT Search. La plupart des marques laissent OAI-SearchBot et PerplexityBot, et arbitrent sur GPTBot.

5. Comment monitorer les visites de bots IA ?

   Via les logs serveur (Apache, Nginx, Cloudflare). Filtrer par user-agent (GPTBot, ClaudeBot, etc.) et compter les visites par jour. Des outils comme Cloudflare Bot Analytics donnent une vue agreee sans configuration manuelle des logs.

6. Le monitoring des bots IA est-il un bon indicateur GEO ?

   Oui, comme signal indirect. Un site avec une visite frequente de OAI-SearchBot et PerplexityBot a plus de chances d'etre cite que celui jamais visite. Mais le monitoring des bots ne remplace pas le monitoring des citations elles-memes.