Google peut-il détecter le contenu IA et le pénalise-t-il

Obtenez des informations sur les mesures de Google contre le contenu généré par l’IA et sur les étapes à suivre pour vous assurer que votre site Web reste épargné. Découvrez comment la dernière mise à jour de Google a pénalisé le contenu IA, entraînant la désindexation de 1446 sites.

Can Google Detect and Does it Penalize AI Content

Chez Originality.ai, nous croyons au développement éthique (étude portant sur la façon de bloquer les bots d’IA) et à l’utilisation éthique de l’IA générative grâce à notre détecteur d’IA capable d’identifier si un texte a été créé par ChatGPT ou un autre outil de rédaction IA.

Nous rendons compte de la manière dont l’IA impacte le monde en ligne, en suivant la quantité d’IA présente dans les résultats de recherche de Google, et l’étude ci-dessous analyse en profondeur la mise à jour du 5 mars 2024.

Le 5 mars, Google a annoncé qu’une mise à jour majeure allait avoir lieu, avec pour objectif de réduire de 40 % le contenu inutile. Cette mise à jour a commencé par une série importante d’actions manuelles appliquées à des sites, les faisant totalement désindexer. Ces actions manuelles ont eu lieu conjointement avec cette mise à jour, mais sont distinctes de la mise à jour de l’algorithme qui doit être déployée sur 2 à 4 semaines.

Nous avons réalisé 2 études importantes au cours des dernières 24 heures pour aider les gens à comprendre ces mises à jour, et les deux sont incluses ici. 

  • Étude 1 - Liste des sites Web ayant fait l’objet d’une action manuelle en mars 2024
    • 1,446 sites Web ont fait l’objet d’une action manuelle parmi 79k sites Web vérifiés en mars 2024.
  • Étude 2 - Le spam de contenu IA était-il responsable de l’action manuelle ?
    • 100 % des sites Web comportaient certains articles générés par l’IA
    • 50 % des sites avaient 90 %-100 % de leurs articles générés par l’IA
    • Nous avons utilisé notre vérificateur de texte IA pour comprendre quelle quantité de rédaction IA provenant d’un outil comme ChatGPT avait été publiée sur les sites touchés.

Dans cet article, nous allons couvrir…

  1. Aperçu de la mise à jour de Google
  2. Ce qu’est une action manuelle et la désindexation d’un site
  3. La liste la plus complète des sites qui ont été touchés
  4. Ce que nous avons appris sur les sites qui ont été touchés

Pour consulter la méthodologie, voir chaque section ci-dessous. 

Si vous avez des questions, souhaitez accéder aux données ou cherchez à prolonger cette recherche, contactez jon@originality.ai 

Aperçu de la mise à jour d’action manuelle sur le contenu IA de mars 2024

Cette mise à jour de Google a été annoncée le 5 mars et vise à pénaliser…

  • « Abus de contenu à grande échelle »
    • Visant à empêcher la publication massive de contenu spam (qui fait du spam de contenu sans utiliser l’IA en 2024 et au-delà ?). 
  • « Abus de domaines expirés »
    • Visant à empêcher les gens de réutiliser des domaines expirés pour un bénéfice SEO 
  • « Abus de réputation de site »
    • Visant à empêcher les sites Web réputés de manipuler les moteurs de recherche en faisant publier à une partie de leur site des articles de Parasite SEO. Un exemple en est l’exemple Sports Illustrated Parasite SEO

Google a davantage communiqué sur cette mise à jour au cours de ses premiers jours que sur la plupart des autres mises à jour similaires.

Couverture de la mise à jour de mars 2024 :

Articles de blog de Google :

Il est important de noter à nouveau que les actions manuelles ne sont pas la même chose que les mises à jour de l’algorithme qui auront également lieu. 

Qu’est-ce qu’une action manuelle et la désindexation d’un site

Si Google a identifié un site qui ne respecte pas ses consignes, il peut appliquer une « action manuelle » et le supprimer complètement de ses résultats de recherche (c.-à-d. désindexer le site Web). 

Les sites ont commencé à recevoir un nombre croissant de ces notifications le 5 mars dans leur tableau de bord Google Search Console Manual Action

Google Shows a single issue detected in Google Search Console's Manual Action Tab

La conséquence de ces actions manuelles semble être une suppression complète des résultats de recherche de Google. 

Indexation checking using site operator

Maintenant, que savons-nous des sites qui ont été touchés…

Étude 1 - Liste des sites Web ayant fait l’objet d’une action manuelle en mars 2024

Afin de mieux comprendre l’ampleur de cet effort d’actions manuelles, nous avons réalisé une étude pour identifier les sites Web de contenu désindexés par Google qui, jusqu’à très récemment, recevaient du trafic organique Google.

Cette étude se concentre sur les sites Web axés d’abord sur le contenu, et non sur l’ECommerce ou d’autres types de sites.

Constatations :

  • Action manuelle appliquée à plus de 1,446 sites qui étaient sur MediaVine, Raptive ou Ezoic
  • Sur les environ 79k sites vérifiés, 1.9 % d’entre eux ont fait l’objet d’une action manuelle 
  • Perte de trafic cumulée estimée à plus de 20 millions de visiteurs/mois
  • 3 sites Web avec plus de 1 million de visiteurs organiques par mois tombés à zéro 

Manual Action Applied to 2% of websites from 1446 deindexed sites.

DR des sites avec action manuelle :

Histogram of Ahrefs DR for sites with manual action

3 sites Web avec plus de 1 million de visiteurs organiques par mois tombés à zéro

  • zacjohnson.com
  • beingselfish.in
  • equityatlas.org

Checking a websites traffic overview in Ahrefs Dashboard.
Ahrefs overview for beingselfish.in after taking manual action by google.
Another Ahrefs overview of traffic decreasing.

Méthodologie :

Voici comment nous avons réalisé cette étude.

Résumé : Nous avons identifié une liste de 79k sites Web qui reflètent mieux que la moyenne Internet, vérifié s’ils sont actuellement indexés et, s’ils ne l’étaient pas, nous avons vérifié 2 sources (AHrefs et SImilarWeb) pour confirmer s’ils avaient récemment eu du trafic organique. 

Si un site Web avait récemment du trafic organique (février) mais n’est désormais pas indexé dans Google, nous supposons qu’une action manuelle liée à la mise à jour du 5 mars a été appliquée.

  1. Nous avons créé une liste de toutes les URL affichant des publicités provenant de fournisseurs publicitaires populaires en utilisant les listes BuiltWith. Ces plateformes ont été sélectionnées parce qu’elles appliquent une norme minimale pour autoriser l’ajout de sites à leur plateforme ; les sites AdSense n’ont pas été analysés en raison du volume de sites de faible qualité. Cette liste devrait (discutablement) constituer une représentation meilleure que la moyenne de tous les sites Web en ligne et potentiellement sous-estimer le % de sites Web ayant reçu une action manuelle. Voici le nombre de sites Web vérifiés selon l’entreprise fournissant la publicité :
    1. MediaVine : 21,808
    2. Raptive : 6,428
    3. Ezoic : 51,293
  2. 18 doublons ont été supprimés
  3. Nous avons vérifié chaque URL pour voir si elle était désindexée en recherchant dans Google « Site:URL »
  4. Pour chaque site désindexé, nous avons vérifié les chiffres de trafic organique de février à l’aide de AHrefs et SimilarWeb. 
  5. Nous avons confirmé que notre méthode capturait certains des sites partagés publiquement (ce qui était le cas)

Jeu de données :

Si vous souhaitez accéder au jeu de données des sites Web désindexés, y compris les données ahrefs et similar web, veuillez contacter Jon@originality.ai

Étude 2 - Le spam de contenu IA était-il responsable de l’action manuelle ?

De nombreux médias ont rapidement conclu que cette mise à jour vise à écraser le spam IA dans les résultats de recherche de Google… 

Wired.com publish a post on google is finally trying to kill ai clickbait

De nombreux SEO sur X sont d’accord…

Brendan Oconnel agree with google manual action to remove ai clickbait

Mais en utilisant notre vérificateur IA, nous voulions réaliser une analyse plus rigoureuse. 

Nous avons examiné 100 articles récents pour chacun des sites désindexés qui ont déjà été partagés publiquement afin de voir la prévalence du contenu IA sur les sites ayant reçu une pénalité manuelle. 

Constatations :

  • 100 % des sites Web ayant fait l’objet d’une action manuelle montraient des signes d’utilisation de l’IA
  • 7 des 14 sites Web que nous avons analysés avaient plus de 90 % de leurs articles échantillonnés 

Parentages of websites has published ai content
7 out of 14 websites had 90%+ ai generated content
Presence Of Ai Content in Websites that had a manual action
Websites list that had used a percentage ai generated content

Méthodologie :

  1. Nous avons identifié les sites qui ont été désindexés et dont l’URL avait déjà été divulguée sur X
    1. fresherslive.com
    2. qmunicatemagazine.com
    3. hnbgu.net
    4. zacjohnson.com
    5. newsunzip.com
    6. Bognor.news
    7. popularbio.com
    8. popularnetworth.com
    9. bioofy.com
    10. istaunch.com
    11. healthyceleb.com
    12. GoDownSize.com
    13. networthpost.org
    14. tvguidetime.com
    15. thesocialtalks.com
    16. juliangoldie.com
    17. chipperbird.com
    18. EquityAtlas.org
    19. filmifeed.com
  2. Nous avons extrait 100 des articles les plus récents comptant plus de 100 mots
  3. Plusieurs sites ont été exclus :
    1. juliangoldie.com - n’est plus entièrement désindexé - 10 pages sont dans l’index (mais admet publiquement utiliser l’IA)
    2. chipperbird.com - impossible d’obtenir le contenu (mais le propriétaire du site Web admet publiquement utiliser l’IA)
    3. equityatlas.org - impossible d’obtenir le contenu
    4. filmifeed.com - impossible d’obtenir le contenu
    5. thesocialtalks.com - impossible d’obtenir le contenu
  4. Nous avons passé chaque article dans notre détecteur d’IA (efficacité du détecteur) en utilisant le modèle 2.0 Standard le 7 mars. Ce test a été réalisé avec notre modèle précédent. Pour plus de détails sur le dernier modèle, consultez le vérificateur Originality AI.
  5. Nous avons réalisé une analyse pour chaque site afin d’identifier le score IA moyen et le % d’articles suspectés d’être générés par l’IA. 

Le contenu IA était-il responsable de la désindexation des sites par Google ?

La réponse courte est oui… après avoir analysé 200 sites et plus de 40k URL avec notre vérificateur IA, il est clair que la grande majorité des sites ayant reçu une action manuelle utilisaient probablement du contenu IA. 

Avec la mise à jour du 5 mars, Google a désindexé près de 2 % de tous les sites présents sur des plateformes publicitaires populaires comme MediaVine, Ezoic et Raptive. Certaines de ces plateformes, comme MediaVine, ont adopté une position proactive « Aucun contenu IA » immédiatement après ces actions manuelles (source).

Mediavine Policy on ai generated content

https://www.mediavine.com/ai-and-our-commitment-to-a-creator-first-future/

Au moment de la mise à jour, nous avons analysé les 14 sites Web révélés publiquement et identifié qu’ils contenaient tous une certaine quantité de contenu IA. Cela a suscité beaucoup de discussions…

Lot's of discussion on Twitter's happening after google manual action on ai-content
https://twitter.com/nichepursuits/
status/1765893589991874984

Mais… nous voulions réaliser une analyse plus approfondie et aller BEAUCOUP plus loin que les seuls 14 sites qui avaient déjà été révélés à l’époque.

Méthodologie :

  1. Identifier les 200 sites avec le plus de trafic qui ont été désindexés
  2. Identifier environ 200 articles récents par site 
  3. Nous avons vérifié la présence de contenu IA sur plus de 40k URL en utilisant l’Originality.ai détecteur d’IAs URL API
    1. Suppression des erreurs 
    2. Suppression des sites avec moins de 25 articles vérifiés
  4. Nous avons ensuite pu analyser le contenu de 30,614 URL sur 175 sites Web

Principales constatations :

151 des 175 sites avaient probablement publié du contenu IA

La grande majorité des sites désindexés semblent avoir publié du contenu IA. En utilisant le seuil IA conservateur de 5 % (le taux de faux positifs est < 3 % dans presque tous les jeux de données testés).

Percentage Of Suspected Ai Articles on Deindexed Sites

51 des 175 étaient des sites de contenu généré par l’IA pur (95 %+ IA)

Certains sites semblent avoir adopté une approche mixte, avec du contenu rédigé à la fois par l’IA et par des humains, tandis que certains des sites montraient clairement uniquement du contenu généré par l’IA. 

51 des sites, soit ~30 % des sites, étaient du contenu généré par l’IA pur.

51 out of 175 sites had over 95% ai generated content

Autres similarités avec les sites désindexés :

  • Publicités agressives
  • Sites uniquement de contenu

Mais ces constatations pourraient probablement être dues à un biais d’échantillonnage, puisque la liste des sites provenait de MediaVine, Raptive et EZoic (tous des réseaux publicitaires populaires auprès des éditeurs Web). 

Cette quantité de contenu IA est-elle normale ?

Ces constatations ne nous amèneraient pas à blâmer le contenu IA pour la désindexation des sites SI cette quantité de contenu IA était constante dans le reste des SERP de Google. 

Nous menons une étude continue examinant le contenu d’une page Web dans les 20 premiers résultats de recherche pour 500 mots-clés différents remontant à plus de 60 mois. 

Conclusion

Le risque que le spam généré par l’IA submerge les résultats de recherche de Google constitue une menace existentielle pour Google. Cela semble être une tentative claire de Google non seulement de punir, mais aussi de faire une déclaration sur sa position concernant le spam généré par l’IA.