Verificador de IA
Verificador de plágio
Corretor gramatical
Qualidade do conteúdo
Verificador de Diretrizes
Verificador de legibilidade
Verificador de Fatos
Extensão do Chrome
MCP
Bots como o GPTBot da OpenAI, o Applebot, CCBot, Google-Extended, e Bytespider analisam, armazenam ou extraem dados do seu site para fornecer dados para treinar LLMs mais avançados.
Na Originality.ai, nós nos importamos com o desenvolvimento responsável (que inclui extração ética) e o uso (AI Detector) de ferramentas de escrita de IA generativa como ChatGPT.
Este artigo fará uma análise aprofundada sobre o propósito dos bots de IA, o que eles fazem, como bloqueá-los e a interessante batalha pelo futuro da IA que está ocorrendo em um arquivo pouco conhecido chamado robots.txt.
Bots de IA vêm em várias formas, incluindo assistentes de IA, extratores de dados de IA, e rastreadores de busca de IA, todos para impulsionar as principais ferramentas de IA e motores de busca de IA. Cada um desses bots de IA extrai dados da web. Muitos webmasters consideram essas práticas inaceitáveis e querem manter seus dados ou as informações de seus sites seguros contra extração.
À medida que mais partes da internet bloqueiam bots de IA, o número de palavras disponível para empresas de IA como OpenAI, Anthropic para desenvolverem seus LLMs mais recentes (como GPT-4o, Claude 3.5) diminuirá, resultando em uma melhoria futura mais lenta das ferramentas de IA.
A maneira mais comum é adicionar o seguinte texto ao seu arquivo Robots.txt:
User-agent: name-of-bot
Disallow: /
Exemplo:
User-agent: GPTBot
Disallow: /
Veja o final deste artigo para uma explicação mais aprofundada das opções para bloquear bots de IA e um arquivo Robots.txt de exemplo.
A OpenAI, em particular, tem estado ativa na tentativa de garantir parcerias de dados para continuar alimentando seus esforços de treinamento de LLM.
Robots.txt é um protocolo da internet que fornece aos rastreadores de mecanismos de busca informações sobre quais URLs o rastreador pode acessar em seu site. Ele é usado principalmente para evitar a sobrecarga do domínio com solicitações produzidas por rastreadores.
É importante saber que Robots.txt é uma solicitação que os bots devem seguir, mas não “precisa” ser seguida.
Em termos de filtrar e gerenciar o tráfego de rastreadores para o seu site, o propósito do robots.txt tem uma aplicação diferente dependendo do tipo de arquivo:
O principal propósito do robots.txt é restringir o acesso de rastreadores a páginas específicas do seu site. Suponha que você tenha preocupações de que o servidor do seu site esteja sobrecarregado por muitas solicitações do Google. Nesse caso, você pode impedir que os rastreadores de mecanismos de busca acessem páginas específicas do seu site para reduzir a utilização.
Você pode usar o arquivo robots.txt para gerenciar o tráfego de rastreamento para imagens, vídeos e arquivos de áudio. Isso impediria que mídias específicas aparecessem na SERP (página de resultados do mecanismo de busca) no Google ou em outros mecanismos de busca.
Se você acha que há uma taxa de utilização específica causada por arquivos de estilo, imagens ou scripts sem importância, pode usar o arquivo robots.txt para restringir o acesso de determinados rastreadores de IA, extratores, assistentes ou outros bots.
Vamos revisar os diferentes tipos de bots e rastreadores de IA implantados por empresas na web:
Assistentes de IA como o ChatGPT-User pertencente à OpenAI e o Meta-ExternalFetcher implantado pela Meta desempenham um papel vital ao responder a consultas de usuários. As respostas podem estar em formato de texto ou voz e usam os dados da web coletados para construir a resposta mais útil possível ao prompt do usuário.
A extração de dados da web por IA é um procedimento realizado por bots extratores de dados de IA para coletar o máximo possível de dados úteis para o treinamento de LLM. Empresas como Apple, ByteDance, Common Crawl, OpenAI e Anthropic usam extratores de dados de IA para criar um grande conjunto de dados da web para LLMs treinarem.
Muitas empresas implantam rastreadores de busca de IA para coletar informações sobre páginas específicas de sites, títulos, palavras-chave, imagens e links inline referenciados. Embora os rastreadores de IA tenham o potencial de enviar tráfego para um site, alguns proprietários de sites ainda estão optando por bloqueá-los.
ChatGPT-User é um rastreador assistente de busca enviado pelo ChatGPT da Open AI como resultado de prompts de usuários. A maioria de suas respostas normalmente incluiria um resumo do conteúdo do site, bem como um link de referência.
O tipo do rastreador ChatGPT-User é assistente de IA, pois ele é usado para realizar tarefas de forma inteligente em nome do usuário do ChatGPT.
Espera-se que o assistente de busca ChatGPT-User faça visitas pontuais conforme a solicitação do usuário, em vez de navegar pela web automaticamente como outros rastreadores.
Para bloquear este rastreador, você deve incluir a seguinte declaração no robots.txt do seu site:
User-agent: ChatGPT-User
Disallow: /
O rastreador Meta-ExternalFetcher é enviado por todos os produtos da Meta AI para direcionar prompts de usuários sempre que um link individual é necessário.
O assistente de IA Meta-ExternalFetcher é chamado para realizar tarefas de forma inteligente em nome do usuário da Meta AI.
Semelhante ao rastreador ChatGPT-user, o Meta-ExternalFetcher geralmente faz visitas pontuais com base na solicitação do usuário, em vez de rastrear automaticamente a web.
Você deve incluir o seguinte comando no robots.txt do seu site para impedir o acesso do Meta-ExternalFetcher:
User-agent: Meta-ExternalFetcher
Disallow: /
O rastreador da web Amazonbot é usado pela Amazon para indexar e registrar resultados de pesquisa, o que permite que a assistente de IA Alexa responda a perguntas com mais precisão. A maioria das respostas da Alexa geralmente contém uma referência ao site.
Amazonbot é um rastreador de busca de IA usado para indexar conteúdo da web para os resultados de pesquisa com tecnologia de IA da Alexa.
A questão específica sobre rastreadores de busca é que eles não seguem um esquema fixo de visitas a sites. A frequência de visitas é definida por muitos fatores e normalmente ocorre sob demanda para uma consulta do usuário, inclusive pelo Amazonbot.
Você pode limitar o acesso do Amazonbot ao seu site digitando as seguintes linhas de comando no robots.txt do seu site:
User-agent: Amazonbot
Disallow: /
O rastreador de busca Applebot é usado para registrar resultados de pesquisa, permitindo que a assistente de IA Siri responda às perguntas dos usuários de forma mais eficaz. A maioria das respostas da Siri contém uma referência aos sites rastreados pelo Applebot.
Applebot é um rastreador de busca de IA que indexa conteúdo da web para construir resultados de pesquisa com tecnologia de IA.
O comportamento do Applebot varia de acordo com vários fatores, como demanda de busca, sites rastreados e consultas de usuários. Por padrão, rastreadores de busca não dependem de visitas fixas para fornecer resultados.
Embora não seja aconselhável bloquear rastreadores de busca, você pode usar o seguinte comando no robots.txt do site para impedir o acesso do Applebot:
User-agent: Applebot
Disallow: /
O rastreador OAI-SearchBot é utilizado para construir um índice de sites que pode ser usado como resultado do produto SearchGPT da OpenAI.
O OAI-SearchBot é um rastreador de busca de IA usado para indexar conteúdo da web para fornecer resultados de pesquisa com tecnologia de IA mais precisos para o serviço SearchGPT da OpenAI.
O comportamento do OAI-SearchBot pode ser definido pela frequência de buscas na web e consultas de usuários. Como qualquer outro rastreador de busca, o OAI-SearchBot não depende de visitas fixas a sites para fornecer resultados.
Inclua o seguinte comando no arquivo robots.txt do seu site para impedir ativamente o acesso do OAI-SearchBot:
User-agent: OAI-SearchBot
Disallow: /
A Perplexity usa o rastreador web PerplexityBot para indexar resultados de busca e oferecer uma resposta mais eficaz para seu Assistente de IA. As respostas fornecidas pelo assistente normalmente exibem referências em linha para uma variedade de fontes da web.
O PerplexityBot é um rastreador de busca de IA projetado para indexar resultados para resultados de busca com tecnologia de IA pelo Assistente de IA da Perplexity.
Como a maioria dos rastreadores de busca, o PerplexityBot não depende de um cronograma fixo de visitas para as fontes da web que promove. A frequência das visitas pode variar com base em vários fatores, como consultas dos usuários.
Você pode restringir o acesso do PerplexityBot ao seu site incluindo a seguinte regra de token de agente no robots.txt:
User-agent: PerplexityBot
Disallow: /
O YouBot é um rastreador de busca implantado pela You.ai para indexar resultados de busca e oferecer respostas mais precisas aos usuários pelo Assistente de IA da You. O bot geralmente faz referência aos sites citados por meio de fontes em linha.
O rastreador de busca YouBot indexa conteúdo da web para gerar resultados de busca com tecnologia de IA mais precisos.
O rastreador YouBot não tem um cronograma de visitas definido, e a frequência das visitas muitas vezes ocorre sob demanda ou em resposta a uma consulta do usuário.
Você deve colar o seguinte comando no arquivo robots.txt do seu site para impedir o acesso do rastreador YouBot:
User-agent: YouBot
Disallow: /
O Applebot-Extended Extrator de dados de IA é usado para treinar a linha de modelos LLM da APple que impulsionam os recursos de IA generativa da empresa. Este extrator Applebot tem ampla aplicação em todos os aspectos da inteligência da Apple, Serviços e Ferramentas para Desenvolvedores.
O Applebot-Extended é um extrator de dados de IA usado para baixar conteúdo da web e treinar IA ou LLM (Large Language Models)
Embora ainda não esteja claro exatamente como os extratores de dados de IA escolhem qual site rastrear, sabe-se que fontes com maior densidade de informação atraem este extrator Applebot. Faz sentido que um LLM favoreça sites que carregam e atualizam regularmente as informações da web na página.
Inclua o seguinte comando no arquivo robots.txt do seu site para bloquear o Applebot-Extended:
User-agent: Applebot-Extended
Disallow: /
Operado pela ByteDance, Bytespider é um extrator de dados de IA para a proprietária chinesa do TikTok. Ele é usado para baixar dados de treinamento de LLM e fornecer dados relativos.
Bytespider é um extrator de dados de IA usado para treinar Large Language Models baixando conteúdo da web.
O Bytespider Extrator de dados de IA favorece fontes da web com informações regularmente atualizadas e ricas em fatos para usar como fornecimento para LLMs.
Inclua a seguinte regra de token de agente de uso no robots.txt do seu site:
User-agent: Bytespider
Disallow: /
CCBot pertence à Common Crawl para construir um repositório de código aberto por meio de dados de rastreamento da web disponíveis para qualquer pessoa acessar e usar.
O CCBot é um extrator de dados de IA destinado a baixar conteúdo da web e realizar treinamento de modelos de IA.
O CCBot rastreia fontes da web ricas em informação para realizar um treinamento de LLM mais eficaz.
Inclua a seguinte regra no robots.txt para restringir o acesso do CCBot:
User-agent: CCBot
Disallow: /
O ClaudeBot Extrator de dados de IA é operado pela Anthropic para fornecer dados de treinamento a Large Language Models como Claude.
O ClaudeBot é um extrator de dados de IA destinado a baixar conteúdo da web e treinar modelos de IA.
ClaudeBot escolhe quais sites rastrear com base na densidade de informações e na regularidade das atualizações de informações.
O acesso do ClaudeBot pode ser revogado incluindo a seguinte regra no robots.txt:
User-agent: ClaudeBot
Disallow: /
O Diffbot foi projetado para estruturar, entender, agregar e até vender dados de sites devidamente estruturados para treinamento de modelos de IA e monitoramento em tempo real.
O Diffbot é um extrator de dados de IA projetado para treinar modelos de IA e baixar/estruturar informações da web.
A frequência de visitas do Diffbot é definida pela qualidade das informações da fonte e pela regularidade das atualizações.
O rastreamento do Diffbot pode ser impedido aplicando a seguinte regra no robots.txt:
User-agent: Diffbot
Disallow: /
O FacebookBot é implantado pela Meta para melhorar a eficiência da tecnologia de reconhecimento de fala por IA e treinar modelos de IA.
FacebookBot é um rastreador extrator de dados de IA, usado para registrar conteúdo da web e treinamento de LLM.
O FacebookBot não tem um cronograma fixo de visitas, mas talvez reconheça e dependa de fontes com informações mais ricas e bem atualizadas.
O acesso do FacebookBot pode ser revogado com a seguinte regra:
User-agent: FacebookBot
Disallow: /
O rastreador Google-Extended é usado para fornecer informações de treinamento para produtos de IA de propriedade do Google, como o assistente Gemini e as APIs generativas Vertex AI.
O rastreador Google-Extended é um extrator de dados de IA destinado a baixar informações da web e realizar treinamento de IA.
O cronograma de visitas do bot Google-Extended também é flexível, mas é muito mais direcionado do que outros rastreadores devido ao rico banco de dados do Google de fontes da web com informações confiáveis.
O rastreador Google-Extended pode ser colocado na lista negra com a seguinte regra:
User-agent: Google-Extended
Disallow: /
O GPTBot é desenvolvido pela OpenAI para rastrear fontes da web e baixar dados de treinamento para os Large Language Models da empresa e produtos como ChatGPT.
O GPTBot é um extrator de dados de IA projetado para baixar e fornecer uma ampla variedade de dados da web.
Como outros extratores de dados de IA, o GPTBot favorece fontes e sites ricos em informação para fornecer informações mais relativas aos procedimentos de treinamento de IA.
Você pode bloquear o GPTBot Extrator de dados de IA com a seguinte regra robots.txt:
User-agent: GPTBot
Disallow: /
Meta-ExternalAgent é uma tecnologia de crawler desenvolvida pela Meta para melhorar as tecnologias de IA da empresa, baixando e indexando conteúdo da web diretamente.
O Meta-ExternalAgent usa uma tecnologia de raspador de dados de IA para baixar e indexar conteúdo da web, destinado ao treinamento de IA.
Semelhante a outros crawlers desenvolvidos pela empresa, o Meta-ExternalAgent usa uma estratégia de rastreamento flexível para identificar fontes da web ricas em informações.
Este crawler desenvolvido pela Meta pode ser restrito por meio da seguinte regra robots.txt:
User-agent: Meta-ExternalAgent
Disallow: /
O crawler omgili é propriedade da Webz.io, projetado para manter uma biblioteca construída de dados de rastreamento da web que é então vendida a outras empresas para fins de treinamento de IA.
O crawler omgili é um raspador de dados de IA que baixa informações de treinamento de IA da web.
Como as informações rastreadas são então vendidas pela Webz.io, o crawler omgili acompanha sites confiáveis e autorizados com informações relevantes.
Use a seguinte regra para impedir o acesso do crawler omgili ao seu site:
User-agent: omgili
Disallow: /
O agente Anthropic-AI não confirmado tende a ser usado para baixar dados de treinamento relevantes e fornecê-los a produtos com tecnologia de IA pertencentes à Empresa, como Claude.
O tipo exato do agente Anthropic-AI ainda é desconhecido devido à ausência de divulgação pela empresa.
Devido à ausência de informações relevantes sobre o agente Anthropic-AI, o crawler pode ser usado para vários fins, mas ainda é difícil dizer.
O agente Anthropic-AI pode ser bloqueado com a seguinte regra:
User-agent: anthropic-ai
Disallow: /
Claude-Web é outro agente de IA operado pela Anthropic, sem documentação oficial sobre suas finalidades de uso. Espera-se que Claude-Web forneça dados relevantes de treinamento de LLM para a Anthropic.
Claude-Web será um raspador de dados de IA ou um crawler de busca padrão para o modelo de linguagem grande Claude 3.5 da Anthropic.
A Anthropic está retendo informações sobre as funcionalidades do Claude-Web, mas o comportamento do crawler corresponderá ao tipo do agente assim que ele for totalmente divulgado.
A seguinte regra é usada para suspender o acesso de rastreamento do agente Claude-Web ao seu site:
User-agent: Claude-Web
Disallow: /
Cohere-AI é um agente não documentado desenvolvido pela Cohere para fornecer às suas ferramentas de IA generativa informações de estudo relevantes. Ele recupera informações da web quando solicitado pelos usuários por meio da Cohere AI.
Como não há documentação disponível para este agente Cohere AI, o tipo do crawler ainda é desconhecido para muitos dos proprietários de sites.
Suspeita-se que o agente Cohere-AI seja multifuncional por meio de diferentes padrões de comportamento para fornecer aos usuários da Cohere informações relevantes e links de fontes embutidos.
Você pode suspender o acesso do Cohere-AI Agent por meio da seguinte regra:
User-agent: cohere-ai
Disallow: /
A principal função do Ai2Bot é rastrear “certos domínios” e adquirir conteúdo da web para treinar modelos de linguagem.
Conforme relatado pela Ai2, o Ai2Bot é um crawler de busca de IA, pois analisa conteúdo, imagens e vídeos no site rastreado.
O Ai2Bot rastreia apenas sites específicos, conforme relatado pela empresa, mas pode ampliar sua variedade de domínios registrados a cada dia.
Inclua a seguinte regra no robots.txt do seu site para suspender o Ai2Bot:
User-agent: Ai2Bot
Disallow: /
A empresa Ai2 possui o bot Ai2Bot-Dolma e respeita as regras robots.txt. O conteúdo adquirido é usado para treinar uma variedade de modelos de linguagem pertencentes à empresa.
Embora o bot não tenha um tipo específico atribuído, acreditamos que ele tenha o comportamento de um crawler de busca de IA padrão.
O Ai2Bot-Dolma rastreia apenas “certos domínios” para encontrar o conteúdo da web necessário para treinar modelos de linguagem.
Use a seguinte linha robots.txt para restringir o acesso do Ai2Bot-Dolma:
User-agent: Ai2Bot-Dolma
Disallow: /
Embora não se saiba muito sobre este crawler, ele respeita o robots.txt e é usado para adquirir dados para experimentos de aprendizado de máquina.
O tipo do bot ainda é desconhecido, mas acreditamos que seja um crawler genérico ou um raspador de dados de IA com base em seu comportamento na web.
Não está claro quem é o operador deste bot, mas os dados são usados para treinamento de modelos de linguagem grandes, aprendizado de máquina e criação de conjuntos de dados.
Veja como suspender o acesso do FriendlyCrawler ao seu site:
User-agent: FriendlyCrawler
Disallow: /
O crawler GoogleOther é um bot de propriedade do Google, mas ainda não está claro se ele está relacionado à IA ou se é artificialmente inteligente. Atualmente, apenas uma pequena porcentagem dos sites com melhor desempenho bloqueou o bot GoogleOther.
O bot GoogleOther é um crawler de mecanismo de busca que indexa conteúdo da web para resultados de mecanismo de busca mais precisos ou a SERP do Google.
Como qualquer outro crawler de mecanismo de busca, o bot GoogleOther não segue uma programação de visitas específica, e a frequência de visitas varia conforme a atividade do site e a qualidade do conteúdo.
Adicione a seguinte regra ao arquivo robots.txt do seu site:
User-agent: GoogleOther
Disallow: /
GoogleOther-Image é a versão do GoogleOther proposta para rastrear, analisar e indexar imagens na web
Assim como o GoogleOther, o bot GoogleOther-Image é um crawler genérico usado por várias equipes de produtos para tornar o conteúdo de sites publicamente acessível.
Este crawler não segue uma programação de visitas fixa, mas analisa as fontes de imagens mais confiáveis na web e indexa informações específicas.
Você pode bloquear este crawler do Google com o seguinte comando:
User-agent: GoogleOther-Image
Disallow: /
Assim como o crawler GoogleOther padrão e o bot de registro de imagens, o GoogleOther-Video rastreia e analisa conteúdo de vídeo na web.
Este bot é um crawler genérico que atende a uma variedade de equipes de produtos e ajuda empresas a obter melhor alcance com os vídeos enviados ao seu site.
Assim como as outras versões do GoogleOther, este crawler também tem uma programação de visitas flexível, definida pela atividade e pela qualidade do conteúdo de vídeo do site.
Este bot do Google pode ser bloqueado com a seguinte linha robots.txt:
User-agent: GoogleOther-Video
Disallow: /
O ICC-Crawler é um agente que ainda não foi categorizado pelo criador. Ainda é desconhecido se este crawler é artificialmente inteligente ou tem algo a ver com IA.
Assim como sua origem, o tipo do bot ICC-Crawler também é desconhecido.
O comportamento do bot varia dependendo do tipo do crawler, particularmente se ele é um raspador de dados, crawler de mecanismo de busca ou arquivador.
O ICC-Crawler pode ser bloqueado com o seguinte comando:
User-agent: ICC-Crawler
Disallow: /
O bot Imagesift é de propriedade da Hive, mas atualmente não se sabe se o rastreador está relacionado à AI ou é artificialmente inteligente.
O ImagesiftBot é um coletor de inteligência que busca insights úteis na web e registra ou indexa os resultados em um banco de dados.
O comportamento dos rastreadores Coletores de Inteligência depende dos objetivos de seus clientes. Por exemplo, um cliente pode estar interessado em popularizar sua marca, o que faz com que o bot rastreie as redes sociais com mais frequência do que outros sites não relacionados.
Este rastreador pode ser bloqueado da seguinte maneira:
User-agent: ImagesiftBot
Disallow: /
O PetalBot, de propriedade da Huawei, está atualmente suspenso em 2% dos sites indexados populares. Ainda não se sabe se este rastreador é artificialmente inteligente ou está relacionado à AI de alguma forma.
PetalBot é um Rastreador de Mecanismo de Busca que indexa conteúdo da web e adquire dados de resultados de mecanismos de busca.
O comportamento do PetalBot é definido pela qualidade do conteúdo e pela atividade dos sites e domínios registrados. Rastreadores de Mecanismos de Busca tendem a rastrear sites com maior qualidade de conteúdo e atividade frequente.
O acesso do PetalBot pode ser suspenso da seguinte maneira:
User-agent: PetalBot
Disallow: /
Scrapy é de propriedade da Zyte e atualmente está bloqueado em mais de 3% dos domínios registrados na web.
Scrapy é um Raspador de AI, que são rastreadores notórios por não respeitarem o robots.txt de um site. Ele acabará analisando as informações necessárias, mesmo que isso signifique acessar um site que tenha uma regra robots.txt de disallow para Scrapy.
Prever o cronograma de visitas de um Raspador de AI é quase impossível. Esses rastreadores são enviados com diferentes propósitos, e é difícil dizer quais sites ele rastrearia e com que frequência.
Embora o robots.txt não faça muita coisa contra Raspadores de AI, veja como bloquear o Scrapy:
User-agent: Scrapy
Disallow: /
Timpibot é de propriedade da Timpi e atualmente está bloqueado em 3% dos sites indexados populares. O único propósito do Timpibot é adquirir dados da web para treinamento de modelos de AI.
Ao contrário de um Raspador padrão, Timpibot é um Raspador de Dados de AI que depende exclusivamente de inteligência artificial para rastrear e indexar conteúdo da web.
Semelhante aos Raspadores padrão, o cronograma de visitas dos Raspadores de Dados de AI também é incerto. Esses rastreadores tendem a escolher sites com maior densidade de informações e valor de conteúdo, dependendo das informações necessárias para o treinamento do modelo de AI.
O acesso do Timpibot pode ser suspenso com a seguinte regra robots.txt:
User-agent: Timpibot
Disallow: /
O VelenPublicCrawler é operado pela Hunter e foi bloqueado por 0% dos sites mais bem indexados na web.
O rastreador é um Coletor de Inteligência padrão, destinado a coletar insights úteis de resultados da web.
Coletores de Inteligência tendem a atender aos objetivos de seus clientes e, na maioria dos casos, têm tarefas específicas em relação às informações a serem coletadas.
VelenPublicWebCrawler pode ser bloqueado com o seguinte comando:
User-agent: VelenPublicWebCrawler
Disallow: /
Webzio-Extended é outro rastreador de propriedade da Webz.io, usado para manter o repositório dos dados de rastreamento adquiridos. As informações são então vendidas a outras empresas e normalmente usadas para treinamento de modelos de AI.
Webzio-Extended é um Raspador de Dados de AI que baixa conteúdo da web com o objetivo de treinar modelos de AI.
Raspadores de Dados de AI, como Webzio-Extended, não seguem uma visitação fixa de sites. Fontes de dados mais ricas tendem a atrair mais os raspadores e fazer com que eles rastreiem com mais frequência.
O acesso do Webzio-Extended ao seu site pode ser suspenso com o seguinte comando:
User-agent: Webzio-Extended
Disallow: /
O rastreador facebookexternalhit é um bot enviado pela Meta bloqueado em mais de 6% dos sites populares registrados. Ainda não está claro se o bot é artificialmente inteligente ou está relacionado à AI.
Facebookexternalhit é um fetcher, que rastreia resultados da web em nome de uma aplicação.
Fetchers são normalmente enviados para visitar sites sob demanda. Eles são usados para apresentar os metadados de um link específico, um título ou uma imagem em miniatura, por exemplo, ao usuário solicitante.
Este rastreador da Meta pode ser bloqueado com a seguinte regra robots.txt:
User-agent: facebookexternalhit
Disallow: /
Sabe-se que img2dataset é o único rastreador web da empresa, destinado a baixar um grande número de imagens e convertê-las em conjuntos de dados para treinar grandes modelos de linguagem.
O tipo de img2dataset ainda é desconhecido, mas acreditamos que ele seja um Rastreador de Mecanismo de Busca de AI, com base em seu comportamento e cronograma de visitas.
Img2dataset tende a rastrear sites com um banco de dados de imagens mais rico e com uma variedade de temas.
Este rastreador pode ser suspenso com a seguinte regra:
User-agent: img2dataset
Disallow: /
Há várias possibilidades únicas para restringir tráfego indesejado de bots para o seu site:
A forma mais comum é adicionar o seguinte texto ao seu arquivo Robots.txt:
User-agent: name-of-bot
Disallow: /
Exemplo:
User-agent: GPTBot
Disallow: /
Criar um arquivo robots.txt facilmente acessível envolve várias etapas simples:
Durante esta etapa, você deve acessar o diretório raiz do site. É aqui que o arquivo deve ser armazenado para restringir efetivamente o acesso de rastreadores ao seu site. Lembre-se de que seu site pode ter um único arquivo robots.txt.
Você pode usar qualquer editor para criar o arquivo, como o NotePad do Windows, TextEdit e vi. Certifique-se de que o arquivo seja salvo em codificação UTF-8 e prossiga com a aplicação das regras. Os rastreadores do Google respondem ao seguinte conjunto de regras: "user-agent," "disallow," "allow" e "sitemap." Cada regra tem sua finalidade diferente em termos de gerenciamento de rastreadores.
A próxima etapa é tornar o arquivo robots.txt recém-criado publicamente acessível abrindo uma janela de navegação privada no seu navegador e navegando até a localização do arquivo. Você pode verificar se o robots.txt está publicamente acessível digitando o domínio do site, por exemplo, "https://(site name)" e adicionando "/robots.txt" ao final.
Como estabelecemos anteriormente, incluir uma regra de restrição para um bot específico no robots.txt do seu site não desindexará a página nem a removerá da SERP. Ao tentar acessar sua página, o bot receberá automaticamente uma mensagem de erro e será redirecionado para fora, sem obter acesso ao conteúdo da página.
A página ainda poderá ser descoberta por todos os usuários e bots de AI, mas bots que carregam a identificação listada no arquivo robots.txt não terão acesso.
Este arquivo de exemplo bloqueia:
Bloquear os raspadores de dados, mas não o rastreador e o assistente de busca, visa restringir os dados de um site de serem usados para treinamento, mas permitir que a busca/assistentes de AI enviem tráfego para o site.
Há várias possibilidades quando se trata de suspender o acesso de bots de AI com o auxílio de um firewall. Vamos analisar cada uma das possibilidades únicas:
Se você conhece bem os endereços usados por bots para acessar seu domínio, pode colocar os IPs em uma lista negra por meio do firewall do seu site. É uma prática comumente conhecida para reduzir o tráfego não intencional para o seu site e preservar recursos. No entanto, bots podem alternar entre vários IPs.
Talvez o método mais amplamente preferido para suspender 100% do tráfego de bots para o seu site seja implementar um software CAPTCHA que exija validação humana. Cada novo visitante será solicitado a concluir um desafio simples, como combinar peças de quebra-cabeça ou identificar objetos em um conjunto de imagens para obter acesso. Firewalls podem ser modificados para acionar CAPTCHAs.
Serviços de CDN, como Cloudflare ou Amazon CloudFront, podem ser integrados ao firewall do seu site para reduzir o tráfego de bots de AI. Semelhante aos desafios CAPTCHA, apenas endereços IP válidos pertencentes a usuários reais poderão acessar seu site.
Como uma ampla variedade de webmasters depende do robots.txt para suspender tráfego indesejado de bots para seus sites, cada regra dentro do arquivo é definida para um bot específico. Depois que as empresas começaram a perceber a queda no tráfego de seus bots, muitas decidiram atribuir um novo nome aos seus bots que não estava no arquivo robots.txt de muitos sites.
Um exemplo recente é como a Anthropic fundiu seus Raspadores de Dados de AI chamados “ANTHROPIC-AI” e “CLAUDE-WEB” em um novo bot chamado “CLAUDEBOT.” Certamente levou um tempo para os sites descobrirem isso e, enquanto isso, o novo bot teve acesso sem precedentes a todos os sites da internet.
Com o uso crescente e generalizado de informações públicas por empresas de AI para ensinar grandes modelos de linguagem, a ineficácia dos protocolos da web está se tornando evidente. Em resposta à grande raspagem de dados conduzida por empresas de AI de dados da web, como C4, Dolma, e Refined Web, houve uma queda de mais de 28%-45% no acesso de rastreadores.
Um total de 45% do C4 agora foi restringido, com muitas das restrições sendo diversas e escalonando as leis das infraestruturas de AI de uso geral por meio do robots.txt. A demanda por consentimento de dados está se tornando cada vez mais desafiadora não apenas para AI comercial, mas para todos os tipos de pesquisa acadêmica e uso não comercial de AI.
A colisão entre empresas de AI tentando raspar o máximo de dados possível para treinar LLMs e editores trabalhando para defender seus dados/largura de banda contra abusos resultou em uma disputa interessante que está se desenrolando em um arquivo pouco conhecido em todos os sites chamado robots.txt.
Este guia visa acompanhar como esse drama está se desenrolando com nosso painel em tempo real, vendo quais dos 1000 principais sites estão bloqueando bots de AI, como bloqueá-los e quais você deve bloquear.
Se estivermos deixando de fora algum bot que você gostaria que fosse incluído, entre em contato.
Detector de IA e Plágio para Editores de Conteúdo Sérios
Originality.ai
64 Hurontario St
Collingwood, Ontario
L9Y 2L6
