Vérificateur d’IA
Vérificateur de plagiat
Correcteur de grammaire
Qualité du contenu
Vérificateur de lignes directrices
Vérificateur de lisibilité
Vérificateur de faits
Extension Chrome
MCP
Des bots tels que le GPTBot d’OpenAI, l’Applebot, CCBot, Google-Extended, et Bytespider analysent, stockent ou extraient les données de votre site web afin de fournir des données pour entraîner des LLMs plus avancés.
Chez Originality.ai, nous nous soucions du développement responsable (ce qui inclut le scraping éthique) et de l’utilisation (AI Detector) des outils d’écriture d’IA générative comme ChatGPT.
Cet article examinera en profondeur l’objectif des bots d’IA, ce qu’ils font, comment les bloquer et la bataille intéressante pour l’avenir de l’IA qui se joue autour d’un fichier rarement connu appelé robots.txt.
Les bots d’IA se présentent sous plusieurs formes, notamment les assistants IA, les scrapers de données IA, et les crawlers de recherche IA, tous destinés à alimenter les principaux outils d’IA et moteurs de recherche IA. Chacun de ces bots d’IA extrait des données du web. De nombreux webmasters jugent ces pratiques inacceptables et souhaitent protéger leurs données ou les informations de leur site web contre le scraping.
À mesure qu’une plus grande partie d’Internet bloque les bots d’IA, le nombre de mots disponibles pour les entreprises d’IA comme OpenAI, Anthropic pour développer leur dernier LLM (comme GPT-4o, Claude 3.5) diminuera, ce qui entraînera un ralentissement des améliorations futures des outils d’IA.
La méthode la plus courante consiste à ajouter le texte suivant à votre fichier Robots.txt :
User-agent: name-of-bot
Disallow: /
Exemple :
User-agent: GPTBot
Disallow: /
Consultez le bas de cet article pour une explication plus approfondie des options permettant de bloquer les bots d’IA et un exemple de fichier Robots.txt.
OpenAI en particulier, s’est montré actif dans ses efforts pour sécuriser des partenariats de données afin de continuer à alimenter ses efforts d’entraînement de LLM.
Robots.txt est un protocole Internet qui fournit aux crawlers des moteurs de recherche des informations sur les URL auxquelles le crawler peut accéder sur votre site web. Il est principalement utilisé pour empêcher la surcharge du domaine par les requêtes produites par les crawlers.
Il est important de savoir que Robots.txt est une demande que les bots devraient suivre, mais qui ne « doit » pas nécessairement être suivie.
En matière de filtrage et de gestion du trafic des crawlers vers votre site web, l’objectif de robots.txt a une application différente selon le type de fichier :
Le principal objectif de robots.txt est de restreindre l’accès des crawlers à des pages spécifiques de votre site web. Supposons que vous craigniez que le serveur de votre site web soit submergé par un trop grand nombre de requêtes Google. Dans ce cas, vous pouvez empêcher les crawlers des moteurs de recherche d’accéder à des pages spécifiques de votre site web afin de réduire l’utilisation.
Vous pouvez utiliser le fichier robots.txt pour gérer le trafic d’exploration vers les images, les vidéos et les fichiers audio. Cela empêcherait certains médias spécifiques d’apparaître dans la SERP (Search Engine Results Page) sur Google ou d’autres moteurs de recherche.
Si vous pensez qu’il existe un taux d’utilisation particulier causé par des fichiers de style, images ou scripts sans importance, vous pouvez utiliser le fichier robots.txt pour restreindre l’accès de crawlers, scrapers, assistants d’IA particuliers ou d’autres bots.
Passons en revue les différents types de bots et de crawlers d’IA déployés par les entreprises sur le web :
Les assistants IA tels que le ChatGPT-User appartenant à OpenAI et le Meta-ExternalFetcher déployé par Meta jouent un rôle essentiel dans la réponse aux demandes des utilisateurs. Les réponses peuvent être au format texte ou vocal et utilisent les données web collectées pour construire la réponse la plus utile possible au prompt de l’utilisateur.
Le web scraping par IA est une procédure menée par des bots AI Data Scraper pour récolter autant de données utiles que possible pour l’entraînement des LLM. Des entreprises telles que Apple, ByteDance, Common Crawl, OpenAI et Anthropic utilisent des scrapers de données IA pour constituer un vaste ensemble de données du web sur lequel les LLMs peuvent s’entraîner.
De nombreuses entreprises déploient des crawlers de recherche IA pour recueillir des informations sur des pages de sites web spécifiques, des titres, des mots-clés, des images et des liens inline référencés. Bien que les crawlers IA puissent potentiellement envoyer du trafic vers un site web, certains propriétaires de sites choisissent tout de même de les bloquer.
ChatGPT-User est un crawler assistant de recherche envoyé par ChatGPT d’Open AI à la suite de prompts d’utilisateurs. La plupart de ses réponses incluraient généralement un résumé du contenu du site web ainsi qu’un lien de référence.
Le type du crawler ChatGPT-User est AI Assistant, car il est utilisé pour effectuer intelligemment des tâches au nom de l’utilisateur de ChatGPT.
Le ChatGPT-User Search Assistant est censé effectuer des visites ponctuelles en fonction de la demande de l’utilisateur, plutôt que de parcourir automatiquement le web comme d’autres crawlers.
Pour bloquer ce crawler, vous devez inclure l’instruction suivante dans le robots.txt de votre site web :
User-agent: ChatGPT-User
Disallow: /
Le crawler Meta-ExternalFetcher est envoyé par tous les produits de Meta AI pour répondre aux prompts des utilisateurs chaque fois qu’un lien individuel est requis.
L’assistant IA Meta-ExternalFetcher est récupéré pour effectuer intelligemment des tâches au nom de l’utilisateur de Meta AI.
Comme le crawler ChatGPT-user, Meta-ExternalFetcher effectue généralement des visites ponctuelles en fonction de la demande de l’utilisateur, plutôt que de crawler automatiquement le web.
Vous devez inclure la commande suivante dans le robots.txt de votre site web afin d’empêcher l’accès de Meta-ExternalFetcher :
User-agent: Meta-ExternalFetcher
Disallow: /
Le crawler web Amazonbot est utilisé par Amazon pour indexer et enregistrer les résultats de recherche, ce qui permet à l’assistant IA Alexa de répondre aux questions plus précisément. La plupart des réponses d’Alexa contiennent généralement une référence au site web.
Amazonbot est un AI Search Crawler utilisé pour indexer le contenu web pour les résultats de recherche d’Alexa alimentés par l’IA.
La particularité des crawlers de recherche est qu’ils n’adhèrent pas à un schéma de visite fixe pour les sites web. La fréquence de visite est définie par de nombreux facteurs et se produit généralement à la demande en réponse à une requête utilisateur, y compris avec Amazonbot.
Vous pouvez limiter l’accès d’Amazonbot à votre site web en saisissant les lignes de commande suivantes dans le robots.txt de votre site web :
User-agent: Amazonbot
Disallow: /
Le crawler de recherche Applebot est utilisé pour enregistrer les résultats de recherche, permettant à l’assistant IA Siri de répondre plus efficacement aux questions des utilisateurs. La plupart des réponses de Siri contiennent une référence aux sites web explorés par Applebot.
Applebot est un AI Search Crawler qui indexe le contenu web pour construire des résultats de recherche alimentés par l’IA.
Le comportement d’Applebot varie en fonction de multiples facteurs, tels que la demande de recherche, les sites web crawlés et les requêtes des utilisateurs. Par défaut, les crawlers de recherche ne reposent pas sur des visites fixes pour fournir des résultats.
Bien qu’il ne soit pas conseillé de bloquer les crawlers de recherche, vous pouvez utiliser la commande suivante dans le robots.txt du site web pour empêcher l’accès d’Applebot :
User-agent: Applebot
Disallow: /
Le crawler OAI-SearchBot est utilisé pour construire un index de sites web qui peut être utilisé comme résultat du produit SearchGPT d’OpenAI.
OAI-SearchBot est un AI Search Crawler utilisé pour indexer le contenu web afin de fournir des résultats de recherche alimentés par l’IA plus précis pour le service SearchGPT d’OpenAI.
Le comportement d’OAI-SearchBot peut être défini par la fréquence des recherches web et des requêtes des utilisateurs. Comme tout autre crawler de recherche, OAI-SearchBot ne repose pas sur des visites fixes de sites web pour fournir des résultats.
Incluez la commande suivante dans le fichier robots.txt de votre site web afin d’empêcher activement l’accès d’OAI-SearchBot :
User-agent: OAI-SearchBot
Disallow: /
Perplexity utilise le crawler web PerplexityBot pour indexer les résultats de recherche afin de fournir une réponse plus efficace à son assistant IA. Les réponses fournies par l’assistant affichent normalement des références intégrées à diverses sources web.
Le PerplexityBot est un crawler de recherche IA conçu pour indexer les résultats destinés aux résultats de recherche alimentés par l’IA par l’assistant IA de Perplexity.
Comme la plupart des crawlers de recherche, le PerplexityBot ne dépend pas d’un calendrier de visite fixe pour les sources web qu’il met en avant. La fréquence des visites peut varier en fonction de plusieurs facteurs, tels que les requêtes des utilisateurs.
Vous pouvez restreindre l’accès de PerplexityBot à votre site web en incluant la règle de jeton d’agent suivante dans le robots.txt :
User-agent: PerplexityBot
Disallow: /
Le YouBot est un crawler de recherche déployé par You.ai pour indexer les résultats de recherche afin de fournir des réponses utilisateur plus précises par l’assistant IA You. Le bot renvoie généralement, via des sources intégrées, aux sites web référencés.
Le crawler de recherche YouBot indexe le contenu web afin de générer des résultats de recherche alimentés par l’IA plus précis.
Le crawler YouBot n’a pas de calendrier de visite défini et la fréquence des visites se produit souvent à la demande ou en réponse à une requête utilisateur.
Vous devez coller la commande suivante dans le fichier robots.txt de votre site web afin d’empêcher l’accès du crawler YouBot :
User-agent: YouBot
Disallow: /
L’extracteur de données IA Applebot-Extended est utilisé pour entraîner la gamme de modèles LLM d’APple qui alimentent les fonctionnalités d’IA générative de l’entreprise. Cet extracteur Applebot a une large application dans tous les aspects d’Apple intelligence, des Services et des Developer Tools.
L’Applebot-Extended est un extracteur de données IA utilisé pour télécharger du contenu web et entraîner l’IA ou des LLM (grands modèles de langage)
Bien qu’il reste difficile de savoir précisément comment les extracteurs de données IA choisissent quel site web explorer, il est connu que les sources présentant une densité d’information plus élevée attirent cet extracteur Applebot. Il serait logique qu’un LLM privilégie les sites web qui publient et mettent régulièrement à jour les informations web sur la page.
Incluez la commande suivante dans le fichier robots.txt de votre site web pour bloquer l’Applebot-Extended :
User-agent: Applebot-Extended
Disallow: /
Exploité par ByteDance, Bytespider est un extracteur de données IA pour le propriétaire chinois de TikTok. Il est utilisé pour télécharger des données d’entraînement LLM et fournir des données pertinentes.
Bytespider est un extracteur de données IA utilisé pour entraîner de grands modèles de langage en téléchargeant du contenu depuis le web.
L’extracteur de données IA Bytespider privilégie les sources web contenant des informations régulièrement mises à jour et riches en faits, à utiliser comme alimentation pour les LLMs.
Incluez la règle de jeton d’agent utilisateur suivante dans le robots.txt de votre site web :
User-agent: Bytespider
Disallow: /
CCBot appartient à Common Crawl afin de construire un référentiel open source à partir de données d’exploration web accessibles et utilisables par tous.
Le CCBot est un extracteur de données IA destiné à télécharger du contenu web et à effectuer l’entraînement de modèles d’IA.
Le CCBot explore des sources web riches en informations afin de permettre un entraînement LLM plus efficace.
Incluez la règle suivante dans robots.txt pour restreindre l’accès de CCBot :
User-agent: CCBot
Disallow: /
L’extracteur de données IA ClaudeBot est exploité par Anthropic pour fournir des données d’entraînement à de grands modèles de langage comme Claude.
Le ClaudeBot est un extracteur de données IA destiné à télécharger du contenu web et à entraîner des modèles d’IA.
ClaudeBot choisit les sites web à explorer en fonction de la densité d’information et de la régularité des mises à jour des informations.
L’accès de ClaudeBot peut être révoqué en incluant la règle suivante dans le robots.txt :
User-agent: ClaudeBot
Disallow: /
Le Diffbot est conçu pour structurer, comprendre, agréger et même vendre des données de sites web correctement structurées pour l’entraînement de modèles d’IA et la surveillance en temps réel.
Le Diffbot est un extracteur de données IA conçu pour entraîner des modèles d’IA et télécharger/structurer des informations web.
La fréquence des visites de Diffbot est définie par la qualité des informations de la source et la régularité des mises à jour.
L’exploration de Diffbot peut être empêchée en appliquant la règle suivante dans le robots.txt :
User-agent: Diffbot
Disallow: /
Le FacebookBot est déployé par Meta pour améliorer l’efficacité de la technologie de reconnaissance vocale par IA et pour entraîner des modèles d’IA.
FacebookBot est un crawler extracteur de données IA, utilisé pour enregistrer du contenu web et entraîner des LLM.
Le FacebookBot n’a pas de calendrier de visite fixe, mais il reconnaît peut-être les sources contenant des informations plus riches et bien mises à jour, et s’appuie sur elles.
L’accès de FacebookBot peut être révoqué avec la règle suivante :
User-agent: FacebookBot
Disallow: /
Le crawler Google-Extended est utilisé pour fournir des informations d’entraînement aux produits d’IA appartenant à Google, tels que l’assistant Gemini et les API génératives Vertex AI.
Le crawler Google-Extended est un extracteur de données IA destiné à télécharger des informations depuis le web et à effectuer l’entraînement d’IA.
Le calendrier des visites du bot Google-Extended est également flexible, mais il est beaucoup plus ciblé que celui d’autres crawlers en raison de la riche base de données de Google en sources web d’informations fiables.
Le crawler Google-Extended peut être mis sur liste noire avec la règle suivante :
User-agent: Google-Extended
Disallow: /
Le GPTBot est développé par OpenAI pour explorer les sources web et télécharger des données d’entraînement pour les grands modèles de langage de l’entreprise et des produits comme ChatGPT.
Le GPTBot est un extracteur de données IA conçu pour télécharger et fournir un large éventail de données depuis le web.
Comme d’autres extracteurs de données IA, le GPTBot privilégie les sources et les sites web riches en informations afin de fournir des informations plus pertinentes pour les procédures d’entraînement de l’IA.
Vous pouvez bloquer l’extracteur de données IA GPTBot avec la règle robots.txt suivante :
User-agent: GPTBot
Disallow: /
Meta-ExternalAgent est une technologie de crawler développée par Meta pour améliorer les technologies d’IA de l’entreprise en téléchargeant et en indexant directement du contenu web.
Le Meta-ExternalAgent utilise une technologie d’extracteur de données IA pour télécharger et indexer du contenu web, destinée à l’entraînement de l’IA.
À l’instar d’autres crawlers développés par l’entreprise, le Meta-ExternalAgent utilise une stratégie d’exploration flexible pour repérer les sources web riches en informations.
Ce crawler développé par Meta peut être restreint au moyen de la règle robots.txt suivante :
User-agent: Meta-ExternalAgent
Disallow: /
Le crawler omgili appartient à Webz.io et est conçu pour maintenir une bibliothèque constituée de données d’exploration web, qui est ensuite vendue à d’autres entreprises à des fins d’entraînement de l’IA.
Le crawler omgili est un extracteur de données IA qui télécharge des informations d’entraînement de l’IA depuis le web.
Comme les informations explorées sont ensuite vendues par Webz.io, le crawler omgili suit les sites web crédibles et autorisés contenant des informations pertinentes.
Utilisez la règle suivante pour empêcher l’accès du crawler omgili à votre site web :
User-agent: omgili
Disallow: /
L’agent Anthropic-AI non confirmé semble être utilisé pour télécharger des données d’entraînement pertinentes et les fournir aux produits alimentés par l’IA appartenant à l’entreprise, tels que Claude.
Le type exact de l’agent Anthropic-AI reste inconnu en raison de l’absence de divulgation par l’entreprise.
En raison de l’absence d’informations pertinentes sur l’agent Anthropic-AI, le crawler peut être utilisé à plusieurs fins, mais cela reste difficile à déterminer.
L’agent Anthropic-AI peut être bloqué avec la règle suivante :
User-agent: anthropic-ai
Disallow: /
Claude-Web est un autre agent IA exploité par Anthropic, sans documentation officielle sur ses objectifs d’utilisation. Claude-Web devrait fournir des données d’entraînement LLM pertinentes à Anthropic.
Claude-Web sera soit un extracteur de données IA, soit un crawler de recherche standard pour le modèle de langage étendu Claude 3.5 d’Anthropic.
Anthropic retient les informations sur les fonctionnalités de Claude-Web, mais le comportement du crawler correspondra au type de l’agent une fois qu’il sera entièrement divulgué.
La règle suivante est utilisée pour suspendre l’accès d’exploration de l’agent Claude-Web à votre site web :
User-agent: Claude-Web
Disallow: /
Cohere-AI est un agent non documenté développé par Cohere pour fournir à ses outils d’IA générative des informations d’étude pertinentes. Il récupère des informations sur le web lorsque les utilisateurs le sollicitent via Cohere AI.
Comme aucune documentation n’est disponible pour cet agent Cohere AI, le type du crawler reste inconnu de nombreux propriétaires de sites web.
On soupçonne que l’agent Cohere-AI aura plusieurs usages au moyen de différents schémas comportementaux afin de fournir aux utilisateurs de Cohere des informations pertinentes et des liens de sources intégrés.
Vous pouvez suspendre l’accès de l’agent Cohere-AI au moyen de la règle suivante :
User-agent: cohere-ai
Disallow: /
La fonction principale de l’Ai2Bot est d’explorer « certains domaines » et d’acquérir du contenu web pour entraîner des modèles de langage.
Comme l’indique Ai2, l’Ai2Bot est un crawler de recherche IA, car il analyse le contenu, les images et les vidéos du site web exploré.
L’Ai2Bot n’explore que des sites web spécifiques selon l’entreprise, mais il peut élargir chaque jour son éventail de domaines enregistrés.
Incluez la règle suivante dans le fichier robots.txt de votre site web pour suspendre l’Ai2Bot :
User-agent: Ai2Bot
Disallow: /
L’entreprise Ai2 possède le bot Ai2Bot-Dolma et respecte les règles robots.txt. Le contenu acquis est utilisé pour entraîner divers modèles de langage appartenant à l’entreprise.
Bien qu’aucun type spécifique n’ait été attribué au bot, nous pensons qu’il adopte le comportement d’un crawler de recherche IA standard.
L’Ai2Bot-Dolma n’explore que « certains domaines » afin de trouver le contenu web nécessaire à l’entraînement de modèles de langage.
Utilisez la ligne robots.txt suivante pour restreindre l’accès d’Ai2Bot-Dolma :
User-agent: Ai2Bot-Dolma
Disallow: /
Bien que l’on sache peu de choses sur ce crawler, il respecte le fichier robots.txt et est utilisé pour acquérir des données destinées à des expériences d’apprentissage automatique.
Le type du bot reste inconnu, mais nous pensons qu’il s’agit soit d’un crawler générique, soit d’un extracteur de données IA, d’après son comportement sur le web.
On ne sait pas clairement qui est l’opérateur de ce bot, mais les données sont utilisées pour l’entraînement de grands modèles de langage, l’apprentissage automatique et la création de jeux de données.
Voici comment suspendre l’accès de FriendlyCrawler à votre site web :
User-agent: FriendlyCrawler
Disallow: /
Le crawler GoogleOther est un bot appartenant à Google, mais il reste difficile de savoir s’il est lié à l’IA ou s’il est doté d’intelligence artificielle. À l’heure actuelle, seul un faible pourcentage des sites web les plus performants ont bloqué le bot GoogleOther.
Le bot GoogleOther est un crawler de moteur de recherche qui indexe le contenu web afin d’obtenir des résultats de moteur de recherche plus précis ou la SERP de Google.
Comme tout autre crawler de moteur de recherche, le bot GoogleOther ne suit pas de calendrier de visite particulier, et la fréquence des visites varie selon l’activité du site web et la qualité du contenu.
Ajoutez la règle suivante au fichier robots.txt de votre site web :
User-agent: GoogleOther
Disallow: /
GoogleOther-Image est la version de GoogleOther proposée pour explorer, analyser et indexer les images sur le web
Comme GoogleOther, le bot GoogleOther-Image est un crawler générique utilisé par diverses équipes produit pour rendre le contenu des sites web accessible au public.
Ce crawler ne suit pas de calendrier de visite fixe, mais analyse les sources d’images les plus fiables sur le web et indexe des informations particulières.
Vous pouvez bloquer ce crawler Google avec la commande suivante :
User-agent: GoogleOther-Image
Disallow: /
Tout comme le crawler GoogleOther standard et le bot d’enregistrement d’images, GoogleOther-Video explore et analyse le contenu vidéo sur le web.
Ce bot est un crawler générique qui sert diverses équipes produit et aide les entreprises à obtenir une meilleure portée avec les vidéos téléversées sur leur site web.
Comme les autres versions de GoogleOther, ce crawler possède également un calendrier de visite flexible défini par l’activité et la qualité du contenu vidéo du site web.
Ce bot Google peut être bloqué avec la ligne robots.txt suivante :
User-agent: GoogleOther-Video
Disallow: /
L’ICC-Crawler est un agent qui n’est toujours pas catégorisé par son créateur. On ignore encore si ce crawler est doté d’intelligence artificielle ou s’il a un quelconque lien avec l’IA.
Comme pour sa source, le type du bot ICC-Crawler est également inconnu.
Le comportement du bot varie en fonction du type de crawler, notamment selon qu’il s’agit d’un extracteur de données, d’un crawler de moteur de recherche ou d’un archiveur.
L’ICC-Crawler peut être bloqué avec la commande suivante :
User-agent: ICC-Crawler
Disallow: /
Le bot Imagesift appartient à Hive, mais on ignore actuellement si le crawler est lié à l’IA ou doté d’une intelligence artificielle.
Le ImagesiftBot est un collecteur de renseignements qui recherche des informations utiles sur le web et enregistre ou indexe les résultats dans une base de données.
Le comportement des crawlers collecteurs de renseignements dépend des objectifs de leurs clients. Par exemple, un client peut souhaiter populariser sa marque, ce qui amène le bot à explorer les réseaux sociaux plus fréquemment que d’autres sites web sans rapport.
Ce crawler peut être bloqué de la manière suivante :
User-agent: ImagesiftBot
Disallow: /
Le PetalBot appartenant à Huawei est actuellement suspendu sur 2 % des sites web indexés populaires. On ignore encore si ce crawler est doté d’une intelligence artificielle ou lié de quelque manière que ce soit à l’IA.
PetalBot est un robot d’exploration de moteur de recherche qui indexe le contenu web et acquiert des données à partir des résultats des moteurs de recherche.
Le comportement de PetalBot est défini par la qualité du contenu et l’activité des sites web et domaines enregistrés. Les robots d’exploration de moteurs de recherche ont tendance à explorer les sites web dont le contenu est de meilleure qualité et dont l’activité est fréquente.
L’accès de PetalBot peut être suspendu de la manière suivante :
User-agent: PetalBot
Disallow: /
Scrapy appartient à Zyte et est actuellement bloqué sur plus de 3 % des domaines enregistrés sur le web.
Scrapy est un Scraper IA, des crawlers réputés pour ne pas respecter le fichier robots.txt d’un site web. Il finira par analyser les informations requises, même si cela implique d’accéder à un site web qui comporte une règle robots.txt d’interdiction pour Scrapy.
Prédire le calendrier de visite d’un Scraper IA est presque impossible. Ces crawlers sont déployés à des fins différentes et il est difficile de savoir quels sites web ils exploreraient et à quelle fréquence.
Bien que robots.txt ne fasse pas grand-chose contre les Scrapers IA, voici comment bloquer Scrapy :
User-agent: Scrapy
Disallow: /
Timpibot appartient à Timpi et est actuellement bloqué sur 3 % des sites web indexés populaires. Le seul objectif de Timpibot est d’acquérir des données web pour l’entraînement de modèles d’IA.
Contrairement à un Scraper standard, Timpibot est un Scraper de données IA qui repose uniquement sur l’intelligence artificielle pour explorer et indexer le contenu web.
Comme les Scrapers standards, le calendrier de visite des Scrapers de données IA est également flou. Ces crawlers ont tendance à choisir des sites web ayant une densité d’informations et une valeur de contenu plus élevées, selon les informations requises pour l’entraînement du modèle d’IA.
L’accès de Timpibot peut être suspendu avec la règle robots.txt suivante :
User-agent: Timpibot
Disallow: /
Le VelenPublicCrawler est exploité par Hunter et a été bloqué par 0 % des sites web les mieux indexés sur le web.
Le crawler est un collecteur de renseignements standard, conçu pour recueillir des informations utiles à partir des résultats web.
Les collecteurs de renseignements ont tendance à répondre aux objectifs de leurs clients et, dans la plupart des cas, ont des tâches précises concernant les informations à recueillir.
VelenPublicWebCrawler peut être bloqué avec la commande suivante :
User-agent: VelenPublicWebCrawler
Disallow: /
Webzio-Extended est un autre crawler appartenant à Webz.io, utilisé pour maintenir le référentiel des données d’exploration acquises. Les informations sont ensuite vendues à d’autres entreprises et sont généralement utilisées pour l’entraînement de modèles d’IA.
Webzio-Extended est un Scraper de données IA qui télécharge du contenu web dans le but d’entraîner des modèles d’IA.
Les Scrapers de données IA tels que Webzio-Extended ne s’en tiennent pas à une visite fixe des sites web. Les sources de données plus riches ont tendance à attirer davantage les scrapers et les amènent à explorer plus souvent.
L’accès de Webzio-Extended à votre site web peut être suspendu avec la commande suivante :
User-agent: Webzio-Extended
Disallow: /
Le crawler facebookexternalhit est un bot déployé par Meta, bloqué sur plus de 6 % des sites web populaires enregistrés. Il n’est toujours pas clair si le bot est doté d’une intelligence artificielle ou lié à l’IA.
Facebookexternalhit est un fetcher, qui explore les résultats web pour le compte d’une application.
Les fetchers sont généralement déployés pour visiter des sites web à la demande. Ils sont utilisés pour présenter les métadonnées d’un lien particulier, un titre ou une image miniature par exemple, à l’utilisateur demandeur.
Ce crawler Meta peut être bloqué avec la règle robots.txt suivante :
User-agent: facebookexternalhit
Disallow: /
On sait que img2dataset est le seul crawler web de l’entreprise, conçu pour télécharger un grand nombre d’images et les convertir en jeux de données afin d’entraîner de grands modèles de langage.
Le type de img2dataset est encore inconnu, mais nous pensons qu’il s’agit d’un robot d’exploration de moteur de recherche IA, d’après son comportement et son calendrier de visite.
Img2dataset a tendance à explorer les sites web disposant d’une base de données d’images plus riche et d’une variété de thèmes.
Ce crawler peut être suspendu avec la règle suivante :
User-agent: img2dataset
Disallow: /
Il existe plusieurs possibilités uniques pour restreindre le trafic de bots indésirable vers votre site web :
La méthode la plus courante consiste à ajouter le texte suivant à votre fichier Robots.txt :
User-agent: name-of-bot
Disallow: /
Exemple :
User-agent: GPTBot
Disallow: /
La création d’un fichier robots.txt facilement accessible implique plusieurs étapes simples :
Au cours de cette étape, vous devez accéder au répertoire racine du site web. C’est là que le fichier doit être stocké pour restreindre efficacement l’accès des crawlers à votre site web. Gardez à l’esprit que votre site web ne peut avoir qu’un seul fichier robots.txt.
Vous pouvez utiliser n’importe quel éditeur pour créer le fichier, comme NotePad de Windows, TextEdit et vi. Assurez-vous que le fichier est enregistré en encodage UTF-8, puis procédez à l’application des règles. Les crawlers de Google répondent à l’ensemble de règles suivant : "user-agent," "disallow," "allow" et "sitemap." Chaque règle a son objectif différent en matière de gestion des crawlers.
L’étape suivante consiste à rendre le fichier robots.txt nouvellement créé accessible publiquement en ouvrant une fenêtre de navigation privée dans votre navigateur et en accédant à l’emplacement du fichier. Vous pouvez vérifier si le robots.txt est accessible publiquement en saisissant le domaine du site, par exemple, "https://(site name)", et en ajoutant un "/robots.txt" à la fin.
Comme nous l’avons établi précédemment, inclure une règle de restriction pour un bot particulier dans le robots.txt de votre site web ne désindexera pas la page ni ne la supprimera de la SERP. Lorsqu’il tentera d’accéder à votre page, le bot recevra automatiquement un message d’erreur et sera redirigé ailleurs, sans accéder au contenu de la page.
La page restera découvrable pour tous les utilisateurs et les bots IA, mais les bots portant l’étiquette de nom inscrite dans le fichier robots.txt n’auront pas accès.
Ce fichier d’exemple bloque :
Bloquer les scrapers de données, mais pas le crawler ni l’assistant de recherche, vise à empêcher les données d’un site web d’être utilisées pour l’entraînement tout en permettant à la recherche/aux assistants IA d’envoyer du trafic vers le site web.
Il existe plusieurs possibilités lorsqu’il s’agit de suspendre l’accès des bots IA à l’aide d’un pare-feu. Passons en revue chacune de ces possibilités uniques :
Si vous connaissez bien les adresses utilisées par les bots pour accéder à votre domaine, vous pouvez mettre les IP sur liste noire via le pare-feu de votre site web. C’est une pratique couramment connue pour réduire le trafic involontaire vers votre site web et préserver les ressources. Cependant, les bots peuvent faire tourner plusieurs IP.
La méthode peut-être la plus largement privilégiée pour suspendre à 100 % le trafic de bots vers votre site web consiste à mettre en œuvre un logiciel CAPTCHA qui exige une validation humaine. Chaque nouveau visiteur sera invité à relever un défi simple, comme faire correspondre des pièces de puzzle ou identifier des objets dans un ensemble d’images, pour obtenir l’accès. Les pare-feu peuvent être modifiés pour déclencher des CAPTCHA.
Les services CDN tels que Cloudflare ou Amazon CloudFront peuvent être intégrés au pare-feu de votre site web pour réduire le trafic des bots IA. Comme pour les défis CAPTCHA, seules les adresses IP valides appartenant à de vrais utilisateurs seront autorisées à accéder à votre site web.
Comme une grande variété de webmasters s’appuient sur robots.txt pour suspendre le trafic de bots indésirable vers leur site web, chaque règle du fichier cible un bot spécifique. Après que des entreprises ont commencé à constater la baisse de trafic de leurs bots, beaucoup ont décidé d’attribuer un nouveau nom à leurs bots qui ne figurait pas dans le fichier robots.txt de nombreux sites web.
Un exemple récent est la manière dont Anthropic a fusionné ses Scrapers de données IA nommés “ANTHROPIC-AI” et “CLAUDE-WEB” en un nouveau bot nommé “CLAUDEBOT.” Il a certainement fallu un certain temps aux sites web pour s’en rendre compte et, entre-temps, le nouveau bot a bénéficié d’un accès sans précédent à tous les sites web sur Internet.
Avec l’utilisation croissante et généralisée des informations publiques par les entreprises d’IA pour enseigner aux grands modèles de langage, l’inefficacité des protocoles web devient évidente. En réponse au scraping massif de données mené par des entreprises d’IA spécialisées dans les données web telles que C4, Dolma, et Refined Web, l’accès des crawlers a connu une baisse de 28 %-45 %.
Un total de 45 % de C4 est désormais restreint, bon nombre des restrictions étant diverses et étendant les lois des infrastructures d’IA à usage général via robots.txt. La demande de consentement aux données devient de plus en plus difficile non seulement pour l’IA commerciale, mais aussi pour tous les types de recherche universitaire et d’utilisation non commerciale de l’IA.
La collision entre les entreprises d’IA qui tentent de scraper autant de données que possible pour entraîner des LLMs et les éditeurs qui cherchent à défendre leurs données/leur bande passante contre les abus a donné lieu à une lutte intéressante qui se déroule dans un fichier peu connu présent sur tous les sites web, appelé le robots.txt.
Ce guide vise à suivre l’évolution de ce drame grâce à notre tableau de bord en direct, qui permet de voir lesquels des top 1000 sites web bloquent les bots IA, comment les bloquer et lesquels vous devriez bloquer.
S’il nous manque des bots que vous souhaiteriez voir inclus, veuillez nous contacter.
Détecteur d’IA et de plagiat pour les éditeurs de contenu sérieux
Originality.ai
64 Hurontario St
Collingwood, Ontario
L9Y 2L6
