Bloqueio de bots de SEO

‍

‍

Os bots rastreadores da web de otimização para mecanismos de busca (SEO) desempenham um papel fundamental no marketing digital por meio de suas interações com páginas da web. Eles são responsáveis por rastrear e indexar páginas da web para recuperar e coletar dados, geralmente para adicioná-los ao seu índice para uso em ferramentas e softwares de SEO.

‍

Esses bots são importantes porque o rastreamento feito por esses bots de monitoramento de sites é o que nos fornece os dados necessários que nos permitem analisar o desempenho nos mecanismos de busca. Esses rastreadores destacam tanto as oportunidades de crescimento do tráfego orgânico quanto os problemas que precisam ser resolvidos.

‍

No entanto, nem todo o tráfego de bots rastreadores da web é bom para o seu website. Muitos problemas podem surgir, especialmente com os bots que são mais agressivos em seu rastreamento. Isso inclui consumo de recursos, preocupações com segurança e privacidade de dados e controle sobre o acesso ao conteúdo.

‍

Existem muitas versões diferentes de rastreadores da web, e aqui nos concentraremos exclusivamente em apresentar esses bots no contexto de SEO.

O que é um bot de SEO?

‍

Os bots rastreadores da web de SEO funcionam rastreando websites. Isso significa que eles estão visitando websites sistematicamente, navegando pelo conteúdo e pelos links encontrados na página e coletando informações sobre eles. Todas essas informações são adicionadas ao seu índice, que é um banco de dados que contém todos esses dados de páginas da web que o rastreador encontrou.

‍

Para ajudar você a entender melhor, pense em quando usa a barra de pesquisa no Google. Essa pesquisa obtém os resultados do índice deles, encontrando as opções mais relevantes com base nas informações que você fornece na forma de uma consulta de pesquisa. Toda essa indexação é feita com o rastreador da web do Google, o Googlebot.

‍

No contexto da otimização para mecanismos de busca, bots como AhrefsBot e SEMRushBot são implantados para analisar websites quanto à saúde de SEO. Quando coletam dados sobre um determinado website, eles analisam fatores como backlinks, densidade de palavras-chave e a estrutura do website. Eles também podem detectar problemas como velocidades de carregamento lentas, links quebrados, conteúdo duplicado e muitos outros.

‍

Quem são esses bots de SEO?

‍

• AhrefsBot

AhrefsBot é um rastreador da web que coleta e compila os dados necessários para alimentar o software de SEO completo da Ahref e o Yep, sua plataforma de mecanismo de busca com compartilhamento de receita. Os dados coletados por esse bot são usados nas ferramentas deles para pesquisa de palavras-chave, auditoria de sites e análise de backlinks.

‍

De acordo com uma declaração feita pela Ahrefs, esse bot é o bot de SEO mais ativo e o terceiro mais ativo entre todos os bots, não muito atrás do Google e do Bing. Esse bot visita mais de 8 bilhões de websites todos os dias para atualizar continuamente seu banco de dados ao longo do dia. Essas atualizações são concluídas várias vezes por hora, e é assim que eles alcançam análises precisas e atualizadas de cada website.

‍

Mais informações - https://ahrefs.com/robot

‍

• MJ12bot

MJ12bot é um rastreador da web que vem do conjunto de ferramentas de SEO da Majestic. O foco dos serviços de software da Majestic é a especialização na análise do perfil de backlinks de websites.

‍

Os dados recuperados pelo rastreador deles permitem que ofereçam análise de SEO, incluindo suas próprias métricas para avaliar o quão confiável e influente um website é com base em seus backlinks. Eles também nos ajudam a entender como diferentes páginas estão interconectadas por meio de links internos e externos.

‍

A Majestic também rastreia a web com esse bot com a intenção de criar um mecanismo de busca poderoso com um rastreador para download que permite que outras pessoas contribuam. Este projeto permanece em fase de pesquisa no momento deste artigo.

‍

Mais informações - https://www.mj12bot.com/

‍

• Semrushbot

SemrushBot é o rastreador da web operado pela SEMRush, uma empresa que oferece uma plataforma com ferramentas completas de SEO e marketing de conteúdo.

‍

Esse bot é responsável por obter os dados que permitem que a SEMRush forneça análises detalhadas oferecidas em seu software. Isso inclui o Backlink Analytics, a ferramenta Site Audit, a ferramenta Backlink Audit e muito mais. Saiba mais sobre para que os dados deles são usados aqui.

‍

Quando o SEMRushBot rastreia um website, ele começa com uma lista de diferentes websites. À medida que o rastreador visita essas páginas, ele guarda os links dentro da página para rastreamento futuro, e estes são usados em rastreamentos futuros para procurar atualizações.

‍

Mais informações - https://www.semrush.com/bot/

‍

• Dotbot

Dotbot é um rastreador da web da Moz, outra empresa de software que fornece soluções robustas de SEO com um conjunto de ferramentas completo. Seus produtos se concentram em auditorias de sites, acompanhamento de classificação, análise de backlinks, pesquisa de palavras-chave e muito mais. Saiba mais aqui.

Esse rastreador da web coleta páginas da web para acumular dados para o Moz Link Index, e isso alimenta a seção Links do Moz Pro Campaign, a ferramenta Link Explorer e o Moz Links API.

‍

Mais informações - https://moz.com/help/moz-procedures/crawlers/dotbot

‍

• Rogerbot

Rogerbot é outro rastreador da web da Moz, mas é o rastreador de auditoria de sites deles, que se concentra em coletar dados para Moz Pro Campaigns, que é o processo deles de acompanhar um site com websites concorrentes. Quando usado, ele é atualizado regularmente para coletar insights de SEO para seu uso.

‍

Ele permite que os usuários do Moz Pro implementem estratégias de SEO encontrando oportunidades com seu perfil de backlinks, bem como localizando quaisquer problemas em seu conteúdo que possam afetar o SEO do site. Outras possibilidades incluem coletar e analisar palavras-chave e criar relatórios para compartilhar com colegas.

‍

Mais informações - https://moz.com/help/moz-procedures/crawlers/rogerbot

‍

• Screaming Frog SEO Spider

Screaming Frog SEO Spider é um programa usado por profissionais e agências de SEO para serviços de auditoria de sites de SEO. O bot foi projetado para rastrear qualquer número de websites fornecidos em tempo real para coletar dados e tomar decisões informadas sobre um determinado website(s).

‍

O principal fator distintivo que faz esse bot se destacar é que ele é uma ferramenta usada por profissionais para análise de seus próprios websites. Semelhante à forma como bots de mecanismos de busca rastreariam um website, ele encontra dados sobre aspectos de SEO, como análise de títulos de páginas, metadados, meta robots e diretivas, e muitos outros.

‍

Mais informações - https://www.screamingfrog.co.uk/seo-spider/.

‍

• CognitiveSEO

CognitiveSEO oferece uma solução de software de SEO que permite que os usuários realizem análise de backlinks, pesquisem palavras-chave, auditem sites e acompanhem a classificação. O bot deles coleta dados para alimentar suas análises de desempenho e avaliação da classificação de websites.

‍

Mais informações - https://cognitiveseo.com/blog/3212/im-bot-james-bot/

‍

• OnCrawl

Por último, mas não menos importante, OnCrawl é um provedor de dados técnicos de SEO que fornece análises detalhadas para websites. O bot deles escaneia websites e analisa os elementos internos para que possam fornecer uma avaliação e um relatório para o profissional de SEO.

‍

Mais informações - https://help.oncrawl.com/en/articles/2767653-how-does-the-oncrawl-bot-find-and-crawl-pages

‍

Por que devo bloquear bots de SEO?

‍

Com tantos bots de rastreamento da web ativos por aí, você pode estar se perguntando: por que bloquear bots de SEO? Há vários motivos:

‍

• Impacto no desempenho do website

Dependendo do bot, sua taxa de rastreamento pode consumir bastante recursos. Isso pode resultar na desaceleração do desempenho do seu website, impactando muito a experiência do usuário. Ao bloquear esses bots de SEO, você pode impedir que alguns desses bots consumam os recursos do seu servidor.

‍

• Problemas de segurança e privacidade de dados

Bots de SEO estão continuamente rastreando seu conteúdo para coletar dados, e isso pode incluir informações pessoais e sensíveis.

‍

Por exemplo, existe a possibilidade de alguns bots coletarem dados sobre visitantes do website. Com esses dados em mãos, eles podem se tornar alvos de ataques cibernéticos. Se esses dados forem violados, isso pode impactar muito tanto os usuários quanto o website.

‍

• Precisão das análises

Como os bots estão continuamente visitando seu website, isso pode ter impacto nas análises de tráfego do seu website. O acesso de bots resulta em imprecisão de cliques e dados de visitantes e pode dificultar a compreensão da diferença entre tráfego orgânico e cliques de uma pessoa versus tráfego de bots.

Como posso bloquear esses bots de SEO?

Não são necessárias muitas etapas para bloquear esses bots, e o método mais simples está no arquivo robots.txt do seu website específico. 

‍

Para ver a versão mais atualizada de qualquer website, ela pode ser acessada adicionando /robots.txt ao final do subdomínio de um website.

‍

Para Originality.ai, isso ficaria assim:

Cada bot se identifica como um user-agent e pode ser bloqueado completamente ou parcialmente. Para o bloqueio completo, adicione o seguinte aos seus arquivos robots.txt para os bots indicados:

User-agent: AhrefsBot

Disallow: /

User-agent: MJ12bot

Disallow: /

User-agent: SemrushBot

Disallow: /

User-agent: dotbot

Disallow: /

User-agent: rogerbot

Disallow: /

User-agent: Screaming Frog SEO Spider

Disallow: /

User-agent: cognitiveSEO

Disallow: /

User-agent: OnCrawl

Disallow: /

Se você quiser bloquear apenas certas áreas do seu website, pode fazer assim:

User-agent: Example Bot

Disallow: /example-link, /example-link-2

Dê uma olhada neste exemplo: 

‍

Retirado do arquivo robot.txt do Google, isso informa a todos os robôs (indicados pelo asterisco) que não acessem as partes do website encontradas dentro do caminho ‘/search’.

Concluindo: tomando decisões informadas sobre rastreadores da web de SEO no seu site

‍

Rastreadores de mecanismos de busca estão por toda parte, e o uso dessa tecnologia pode ser uma ferramenta poderosa para fornecer insights valiosos para profissionais e usuários de SEO. Essas ferramentas podem ajudar a impulsionar a otimização para mecanismos de busca de websites e aumentar o tráfego orgânico analisando o conteúdo do seu website e encontrando palavras-chave relevantes.

‍

No entanto, é importante entender o que cada bot de SEO faz quando está visitando seus websites. Está claro que há possíveis desvantagens em permitir tráfego de bots para seus websites, especialmente com aqueles que têm uma taxa de rastreamento mais alta. Com esse entendimento, você pode decidir se deve ou não adicionar esses bots de SEO aos seus arquivos robots.txt.

‍

Esperamos que este artigo tenha sido útil. Se houver alguma dúvida, não hesite em entrar em contato por e-mail e fale conosco.

‍

‍‍‍