O Google consegue detectar conteúdo de IA e penaliza esse conteúdo

‍

‍

Na Originality.ai, acreditamos no desenvolvimento ético (estudo analisando como bloquear bots de IA) e no uso ético da IA generativa usando nosso detector de IA, que consegue identificar se um texto foi criado pelo ChatGPT ou por outra ferramenta de escrita com IA.

‍

Estamos relatando como a IA está impactando o mundo online, acompanhando quanta IA há nos resultados de pesquisa do Google, e o estudo abaixo faz uma análise aprofundada da atualização de 5 de março de 2024.

‍

Em 5 de março, o Google anunciou que ocorreria uma atualização massiva com o objetivo de reduzir conteúdo inútil em 40%. Essa atualização começou com uma rodada significativa de ações manuais aplicadas a sites, fazendo com que fossem completamente desindexados. Essas ações manuais ocorreram em conjunto com esta atualização, mas são separadas da atualização do algoritmo, que será implementada ao longo de 2 a 4 semanas.

‍

Concluímos 2 estudos significativos nas últimas 24 horas para ajudar as pessoas a entenderem essas atualizações, e ambos estão incluídos aqui. 

• Estudo 1 - Lista de sites que sofreram uma ação manual em março de 2024
  • 1,446 sites tiveram uma ação manual aplicada a eles entre 79k sites verificados em março de 2024.
• Estudo 2 - O spam de conteúdo de IA foi o culpado pela ação manual?
  • 100% dos sites tinham algumas publicações geradas por IA
  • 50% dos sites tinham 90%-100% de suas publicações como geradas por IA
  • Usamos nosso verificador de texto de IA para entender qual quantidade de escrita de IA de uma ferramenta como ChatGPT foi publicada nos sites impactados.

Nesta publicação, vamos abordar…

‍

1. Visão geral da atualização do Google
2. O que é uma ação manual e desindexação de site
3. A lista mais completa de sites que foram impactados
4. O que aprendemos sobre os sites que foram impactados

‍

Para ver a metodologia, consulte cada seção abaixo. 

‍

Se você tiver alguma dúvida, quiser acesso aos dados ou estiver procurando expandir esta pesquisa, entre em contato com jon@originality.ai 

‍

Visão geral da atualização de ação manual de conteúdo de IA de março de 2024

‍

Esta atualização do Google foi anunciada em 5 de março e visa penalizar…

• “Abuso de conteúdo em escala”
  • Com o objetivo de impedir a publicação em massa de spam de conteúdo (quem faz spam de conteúdo e não usa IA em 2024 e além?). 
• “Abuso de domínio expirado”
  • Com o objetivo de impedir que pessoas reutilizem domínios expirados para benefício de SEO 
• “Abuso da reputação do site”
  • Com o objetivo de impedir que sites respeitáveis manipulem os mecanismos de busca fazendo com que uma parte de seu site publique artigos de Parasite SEO. Um exemplo disso é o exemplo de Sports Illustrated Parasite SEO. 

Houve mais comunicação do Google sobre esta atualização em seus primeiros dias do que na maioria de outras atualizações semelhantes.

‍

Cobertura da atualização de março de 2024:‍

• https://searchengineland.com/google-released-massive-search-quality-improvements-with-march-2024-core-update-and-multiple-spam-updates-438144
• https://www.wired.com/story/google-search-artificial-intelligence-clickbait-spam-crackdown/

‍

Publicações do blog do Google:

• https://blog.google/products/search/google-search-update-march-2024/
• https://developers.google.com/search/blog/2024/03/core-update-spam-policies

‍

É importante observar novamente que ações manuais não são o mesmo que as atualizações de algoritmo que também ocorrerão. 

‍

O que é uma ação manual e desindexação de site

‍

Se o Google identificou um site que não atende às suas diretrizes, ele pode aplicar uma “ação manual” e removê-lo completamente de seus resultados de pesquisa (também conhecido como desindexar o site). 

‍

Os sites começaram a receber um número crescente dessas notificações em 5 de março em seu painel Google Search Console Manual Action…

‍

‍

A consequência dessas ações manuais parece ser uma remoção completa dos resultados de pesquisa do Google. 

‍

‍

Agora, o que sabemos sobre os sites que foram impactados…

‍

Estudo 1 - Lista de sites que sofreram uma ação manual em março de 2024

‍

Na tentativa de entender melhor a extensão desse esforço de ação manual, concluímos um estudo para identificar sites de conteúdo que foram desindexados pelo Google e que, até muito recentemente, tinham tráfego orgânico do Google.

Este estudo se concentra em sites que priorizam conteúdo, não em ECommerce ou outros tipos de sites.

‍

Descobertas:

• Ação manual aplicada a mais de 1,446 sites que estavam na MediaVine, Raptive ou Ezoic
• Dos aproximadamente 79k sites verificados, 1.9% deles tiveram uma ação manual aplicada a eles 
• Perda acumulada de tráfego estimada em mais de 20 milhões de visitantes/mês
• 3 sites com mais de 1 milhão de visitantes orgânicos por mês foram a zero 

‍

‍

DR dos sites com ação manual:

‍

3 sites com mais de 1 milhão de visitantes orgânicos por mês foram a zero

• zacjohnson.com
• beingselfish.in
• equityatlas.org

‍

Metodologia:

‍

Veja como concluímos este estudo.

‍

Resumo: Identificamos uma lista de 79k sites que são uma representação melhor do que a média da internet, verificamos se eles estão atualmente indexados e, se não estavam indexados, verificamos 2 fontes (AHrefs e SImilarWeb) para confirmar se eles tiveram tráfego orgânico recentemente. 

‍

Se um site teve tráfego orgânico recentemente (fevereiro), mas agora não está indexado no Google, presumimos que uma ação manual da atualização de 5 de março foi aplicada.

‍

1. Criamos uma lista de todas as URLs que exibem anúncios de provedores de publicidade populares usando listas da BuiltWith. Essas plataformas foram selecionadas porque aplicam um padrão mínimo para permitir que sites sejam adicionados à sua plataforma; sites AdSense não foram analisados devido ao volume de sites de baixa qualidade. Esta lista deve (discutivelmente) ser uma representação melhor do que a média de todos os sites online e potencialmente subestimar a % de sites que receberam uma ação manual. Aqui estão os números de sites verificados com base na empresa que fornece a publicidade:
   1. MediaVine: 21,808
   2. Raptive: 6,428
   3. Ezoic: 51,293
2. 18 duplicatas foram removidas
3. Verificamos cada URL para ver se ela havia sido desindexada pesquisando no Google “Site:URL”
4. Para cada site que foi desindexado, verificamos os números de tráfego orgânico de fevereiro usando AHrefs e SimilarWeb. 
5. Confirmamos que nosso método capturou alguns dos sites compartilhados publicamente nesse método (e eles foram capturados)

Conjunto de dados:

‍

Se você quiser acesso ao conjunto de dados dos sites desindexados, incluindo dados da ahrefs e similar web, entre em contato com Jon@originality.ai

‍

Estudo 2 - O spam de conteúdo de IA foi o culpado pela ação manual?

‍

Muitos veículos de mídia foram rápidos em chegar à conclusão de que esta atualização tem como objetivo esmagar o spam de IA nos resultados de pesquisa do Google… 

‍

Muitos SEOs no X concordam…

‍

‍

Mas, usando nosso verificador de IA, queríamos fazer uma análise mais rigorosa. 

‍

Analisamos 100 artigos recentes de cada um dos sites desindexados que já haviam sido compartilhados publicamente para ver a prevalência de conteúdo de IA nos sites que receberam uma penalidade manual. 

‍

Descobertas:

• 100% dos sites que sofreram ação manual mostraram sinais de uso de IA
• 7 dos 14 sites que analisamos tinham mais de 90% de seus artigos de amostra 

‍

Metodologia:

‍

1. Identificamos sites que foram desindexados e cuja URL já havia sido divulgada no X
   1. fresherslive.com
   2. qmunicatemagazine.com
   3. hnbgu.net
   4. zacjohnson.com
   5. newsunzip.com
   6. Bognor.news
   7. popularbio.com
   8. popularnetworth.com
   9. bioofy.com
   10. istaunch.com
   11. healthyceleb.com
   12. GoDownSize.com
   13. networthpost.org
   14. tvguidetime.com
   15. thesocialtalks.com
   16. juliangoldie.com
   17. chipperbird.com
   18. EquityAtlas.org
   19. filmifeed.com
2. Coletamos 100 das publicações mais recentes com mais de 100 palavras
3. Vários sites foram excluídos:
   1. juliangoldie.com - não está mais totalmente desindexado - 10 páginas estão no índice (mas admite publicamente usar IA)
   2. chipperbird.com - não foi possível obter conteúdo (mas o proprietário do site admite publicamente usar IA)
   3. equityatlas.org - não foi possível obter conteúdo
   4. filmifeed.com - não foi possível obter conteúdo
   5. thesocialtalks.com - não foi possível obter conteúdo
4. Executamos cada artigo em nosso detector de IA (eficácia do detector) usando o modelo 2.0 Standard em 7 de março. Este teste foi concluído com nosso modelo anterior. Para detalhes sobre o modelo mais recente, visite o Originality AI checker.
5. Concluímos uma análise de cada site para identificar a pontuação média de IA e a % de artigos suspeitos de serem gerados por IA. 

‍

O conteúdo de IA foi o culpado pelos sites serem desindexados pelo Google?

‍

A resposta curta é que sim… depois de analisar 200 sites e mais de 40k URLs com nosso verificador de IA, fica claro que a grande maioria dos sites que receberam uma ação manual provavelmente usava conteúdo de IA. 

‍

Com a atualização de 5 de março, o Google desindexou quase 2% de todos os sites em plataformas de publicidade populares como MediaVine, Ezoic e Raptive. Algumas dessas plataformas, como a MediaVine, adotaram uma postura proativa de Sem Conteúdo de IA imediatamente após essas ações manuais (fonte).

‍

‍

https://www.mediavine.com/ai-and-our-commitment-to-a-creator-first-future/

‍

No momento da atualização, analisamos os 14 sites revelados publicamente e identificamos que todos eles tinham alguma quantidade de conteúdo de IA. Isso gerou muita discussão…

‍

‍

Mas… queríamos fazer uma análise mais completa e ir MUITO mais fundo do que apenas os 14 sites que já haviam sido revelados na época.

‍

Metodologia:

‍

1. Identificar os 200 sites com mais tráfego que foram desindexados
2. Identificar cerca de 200 artigos recentes por site 
3. Verificamos conteúdo de IA em mais de 40k URLs usando a Originality.ai AI detector’s URL API
   1. Removemos erros 
   2. Removemos sites com menos de 25 artigos verificados
4. Então conseguimos analisar o conteúdo de 30,614 URLs em 175 sites

‍

Principais descobertas:

‍

151 dos 175 sites provavelmente haviam publicado conteúdo de IA

‍

A grande maioria dos sites desindexados parece ter tido algum conteúdo de IA publicado neles. Usando o limite de IA como um conservador 5% (a taxa de falso positivo é < 3% em quase todos os conjuntos de dados testados).

‍

51 dos 175 eram sites de conteúdo gerado por IA puro (95%+ IA)

‍

Alguns sites parecem ter adotado uma abordagem mista, com conteúdo escrito tanto por IA quanto por humanos, enquanto alguns dos sites claramente não mostravam nada além de conteúdo gerado por IA. 

‍

51 dos sites, ou ~30% dos sites, eram conteúdo puramente gerado por IA.

‍

‍

Outras semelhanças com sites desindexados:

• Anúncios agressivos
• Sites somente de conteúdo

‍

Mas essas descobertas provavelmente podem ser um viés de amostragem, já que a lista de sites foi retirada da MediaVine, Raptive e EZoic (todas redes de anúncios populares entre editores da web). 

‍

Essa quantidade de conteúdo de IA é normal?

‍

Essas descobertas não nos levariam a culpar o conteúdo de IA pelos sites serem desindexados SE essa quantidade de conteúdo de IA fosse consistente no restante das SERPs do Google. 

‍

Temos um estudo em andamento analisando o conteúdo de uma página da web nos 20 principais resultados de pesquisa para 500 palavras-chave diferentes, retrocedendo mais de 60 meses. 

‍

Conclusão

‍

O risco de spam gerado por IA sobrecarregar os resultados de pesquisa do Google é uma ameaça existencial para o Google. Isso parece ser uma tentativa clara do Google não apenas de punir, mas também de fazer uma declaração sobre sua visão em relação ao spam gerado por IA.

‍

‍

‍