क्या Google AI सामग्री का पता लगा सकता है और क्या वह उसे दंडित करता है

‍

‍

Originality.ai में हम जनरेटिव AI के नैतिक विकास (AI bots को कैसे ब्लॉक करें पर अध्ययन) और हमारे AI detector का उपयोग करके इसके नैतिक उपयोग में विश्वास करते हैं, जो यह पहचान सकता है कि टेक्स्ट ChatGPT या किसी अन्य AI लेखन टूल द्वारा बनाया गया था या नहीं।

‍

हम रिपोर्ट कर रहे हैं कि AI ऑनलाइन दुनिया को कैसे प्रभावित कर रहा है, Google के खोज परिणामों में कितना AI है इसे ट्रैक कर रहे हैं और नीचे दिया गया अध्ययन 5 मार्च 2024 के अपडेट पर गहराई से नज़र डालता है।

‍

5 मार्च को Google ने घोषणा की कि एक बड़ा अपडेट होने वाला है जिसका लक्ष्य अनुपयोगी कंटेंट को 40% तक कम करना होगा। यह अपडेट साइटों पर मैन्युअल कार्रवाइयों के एक महत्वपूर्ण दौर के साथ शुरू हुआ और उन्हें पूरी तरह से डीइंडेक्स कर दिया गया। ये मैन्युअल कार्रवाइयाँ इस अपडेट के साथ हुईं लेकिन उस एल्गोरिदम अपडेट से अलग हैं जिसे 2 से 4 सप्ताह में रोल आउट किया जाना है।

‍

हमने पिछले 24 घंटों में लोगों को इन अपडेट्स को समझने में मदद करने के लिए 2 महत्वपूर्ण अध्ययन पूरे किए हैं और दोनों यहाँ शामिल हैं। 

• अध्ययन 1 - उन वेबसाइटों की सूची जिन पर मार्च 2024 में मैन्युअल कार्रवाई हुई
  • मार्च 2024 में जाँची गई 79k वेबसाइटों में से 1,446 वेबसाइटों पर मैन्युअल कार्रवाई लागू की गई।
• अध्ययन 2 - क्या मैन्युअल कार्रवाई के लिए AI कंटेंट स्पैम जिम्मेदार था?
  • 100% वेबसाइटों में कुछ पोस्ट ऐसी थीं जो AI-generated थीं
  • 50% साइटों में उनकी 90%-100% पोस्ट AI-generated थीं
  • हमने अपने AI Text Checker का उपयोग यह समझने के लिए किया कि ChatGPT जैसे टूल से AI लेखन की कितनी मात्रा प्रभावित साइटों पर प्रकाशित हुई थी।

इस पोस्ट में हम कवर करने जा रहे हैं…

‍

1. Google अपडेट का अवलोकन
2. मैन्युअल कार्रवाई और साइट डीइंडेक्सेशन क्या है
3. प्रभावित हुई साइटों की सबसे पूर्ण सूची
4. प्रभावित हुई साइटों के बारे में हमने क्या सीखा है

‍

मेथडोलॉजी देखने के लिए नीचे प्रत्येक सेक्शन देखें। 

‍

यदि आपके कोई प्रश्न हैं, डेटा तक पहुँच चाहते हैं या इस शोध को आगे बढ़ाना चाहते हैं तो jon@originality.ai से संपर्क करें 

‍

मार्च 2024 AI कंटेंट मैन्युअल कार्रवाई अपडेट का अवलोकन

‍

Google की ओर से यह अपडेट 5 मार्च को घोषित किया गया था और इसका लक्ष्य दंडित करना है…

• “Scaled content abuse”
  • कंटेंट स्पैम के बड़े पैमाने पर प्रकाशन को रोकने का लक्ष्य (2024 और उसके बाद कौन कंटेंट स्पैम करता है और AI का उपयोग नहीं करता?)। 
• “Expired Domain Abuse”
  • SEO लाभ के लिए एक्सपायर्ड डोमेन्स को पुनः उपयोग करने से लोगों को रोकने का लक्ष्य 
• “Site Reputation Abuse”
  • प्रतिष्ठित वेबसाइटों को अपनी साइट के एक हिस्से में Parasite SEO लेख प्रकाशित करके सर्च इंजनों में हेरफेर करने से रोकने का लक्ष्य। इसका एक उदाहरण Sports Illustrated Parasite SEO उदाहरण है। 

इस अपडेट के पहले दिनों में Google की ओर से अधिकांश अन्य समान अपडेट्स की तुलना में अधिक संचार हुआ है।

‍

मार्च 2024 अपडेट की कवरेज:‍

• https://searchengineland.com/google-released-massive-search-quality-improvements-with-march-2024-core-update-and-multiple-spam-updates-438144
• https://www.wired.com/story/google-search-artificial-intelligence-clickbait-spam-crackdown/

‍

Google ब्लॉग पोस्ट्स:

• https://blog.google/products/search/google-search-update-march-2024/
• https://developers.google.com/search/blog/2024/03/core-update-spam-policies

‍

फिर से ध्यान देना महत्वपूर्ण है कि मैन्युअल कार्रवाइयाँ उन एल्गोरिदम अपडेट्स के समान नहीं हैं जो भी होने वाले हैं। 

‍

मैन्युअल कार्रवाई और साइट डीइंडेक्सेशन क्या है

‍

यदि Google ने ऐसी साइट की पहचान की है जो उसके दिशानिर्देशों को पूरा नहीं करती है, तो वह “मैन्युअल कार्रवाई” लागू कर सकता है और उसे अपने खोज परिणामों से पूरी तरह हटा सकता है (अर्थात वेबसाइट को डीइंडेक्स कर सकता है)। 

‍

5 मार्च से साइटों को उनके Google Search Console Manual Action डैशबोर्ड में इन सूचनाओं की बढ़ती संख्या प्राप्त होने लगी…

‍

‍

इन मैन्युअल कार्रवाइयों का परिणाम Google के खोज परिणामों से पूर्ण निष्कासन प्रतीत होता है। 

‍

‍

अब हम प्रभावित हुई साइटों के बारे में क्या जानते हैं…

‍

अध्ययन 1 - उन वेबसाइटों की सूची जिन पर मार्च 2024 में मैन्युअल कार्रवाई हुई

‍

इस मैन्युअल कार्रवाई प्रयास के दायरे को बेहतर ढंग से समझने के प्रयास में हमने उन कंटेंट वेबसाइटों की पहचान करने के लिए एक अध्ययन पूरा किया है जिन्हें Google ने डीइंडेक्स कर दिया है और जिनके पास हाल तक Google Organic ट्रैफिक था।

यह अध्ययन Content first वेबसाइटों पर केंद्रित है, ECommerce या अन्य प्रकार की साइटों पर नहीं।

‍

निष्कर्ष:

• MediaVine, Raptive या Ezoic पर मौजूद 1,446 से अधिक साइटों पर मैन्युअल कार्रवाई लागू हुई
• जाँची गई लगभग 79k साइटों में से 1.9% पर मैन्युअल कार्रवाई लागू हुई 
• कुल ट्रैफिक हानि 20 मिलियन से अधिक विज़िटर्स/माह अनुमानित
• प्रति माह 1 मिलियन से अधिक Organic विज़िटर्स वाली 3 वेबसाइटें शून्य पर 

‍

‍

मैन्युअल कार्रवाई वाली साइटों का DR:

‍

प्रति माह 1 मिलियन से अधिक Organic विज़िटर्स वाली 3 वेबसाइटें शून्य पर

• zacjohnson.com
• beingselfish.in
• equityatlas.org

‍

मेथडोलॉजी:

‍

यहाँ बताया गया है कि हमने यह अध्ययन कैसे पूरा किया।

‍

सारांश: 79k वेबसाइटों की एक सूची पहचानी जो इंटरनेट का औसत से बेहतर प्रतिबिंब हैं, जाँचा कि वे वर्तमान में इंडेक्स हैं या नहीं और यदि वे इंडेक्स नहीं थीं, तो हमने 2 स्रोतों (AHrefs और SImilarWeb) की जाँच की ताकि सत्यापित किया जा सके कि हाल ही में उनका organic ट्रैफिक था या नहीं। 

‍

यदि किसी वेबसाइट पर हाल ही में organic ट्रैफिक (फरवरी) था लेकिन अब वह Google में इंडेक्स नहीं है, तो हम मानते हैं कि 5 मार्च अपडेट की मैन्युअल कार्रवाई लागू की गई थी।

‍

1. हमने BuiltWith सूचियों का उपयोग करके लोकप्रिय विज्ञापन प्रदाताओं से विज्ञापन दिखाने वाले सभी URLs की सूची बनाई। इन प्लेटफॉर्मों को इसलिए चुना गया क्योंकि वे साइटों को अपने प्लेटफॉर्म पर जोड़े जाने की अनुमति देने के लिए एक न्यूनतम मानक लागू करते हैं, निम्न-गुणवत्ता वाली साइटों की मात्रा के कारण AdSense साइटों का विश्लेषण नहीं किया गया। यह सूची (तर्कसंगत रूप से) ऑनलाइन सभी वेबसाइटों का औसत से बेहतर प्रतिनिधित्व होनी चाहिए और संभावित रूप से मैन्युअल कार्रवाई प्राप्त करने वाली वेबसाइटों के % को कम आँक सकती है। विज्ञापन प्रदान करने वाली कंपनी के आधार पर जाँची गई वेबसाइटों की संख्या यहाँ है:
   1. MediaVine: 21,808
   2. Raptive: 6,428
   3. Ezoic: 51,293
2. 18 डुप्लिकेट हटाए गए
3. प्रत्येक URL की जाँच की गई कि क्या वह Google में “Site:URL” खोजकर डीइंडेक्स हो गया था
4. डीइंडेक्स हुई हर साइट के लिए हमने AHrefs और SimilarWeb का उपयोग करके फरवरी के Organic ट्रैफिक नंबरों की जाँच की। 
5. हमने पुष्टि की कि हमारी विधि ने सार्वजनिक रूप से साझा की गई कुछ साइटों को कैप्चर किया है (जो उसने किया)

डेटासेट:

‍

यदि आप ahrefs और similar web डेटा सहित डीइंडेक्स की गई वेबसाइटों के डेटासेट तक पहुँच चाहते हैं, तो कृपया Jon@originality.ai से संपर्क करें

‍

अध्ययन 2 - क्या मैन्युअल कार्रवाई के लिए AI कंटेंट स्पैम जिम्मेदार था?

‍

कई मीडिया आउटलेट्स जल्दी ही इस निष्कर्ष पर पहुँच गए कि यह अपडेट Google के खोज परिणामों में AI स्पैम को कुचलने के उद्देश्य से है… 

‍

X पर कई SEO’s सहमत हैं…

‍

‍

लेकिन अपने AI Checker का उपयोग करके हम अधिक कठोर विश्लेषण करना चाहते थे। 

‍

हमने प्रत्येक डीइंडेक्स की गई साइट के 100 हालिया लेखों को देखा, जिन्हें पहले ही सार्वजनिक रूप से साझा किया जा चुका है, ताकि मैन्युअल पेनल्टी प्राप्त करने वाली साइटों पर AI कंटेंट की व्यापकता देखी जा सके। 

‍

निष्कर्ष:

• मैन्युअल कार्रवाई प्राप्त करने वाली 100% वेबसाइटों ने AI के उपयोग के संकेत दिखाए
• हमने जिन 14 वेबसाइटों का विश्लेषण किया उनमें से 7 में उनके सैंपल लेखों के 90% से अधिक 

‍

मेथडोलॉजी:

‍

1. उन साइटों की पहचान की गई जो डीइंडेक्स हो गई थीं और जिनका URL पहले ही X पर प्रकट किया जा चुका था
   1. fresherslive.com
   2. qmunicatemagazine.com
   3. hnbgu.net
   4. zacjohnson.com
   5. newsunzip.com
   6. Bognor.news
   7. popularbio.com
   8. popularnetworth.com
   9. bioofy.com
   10. istaunch.com
   11. healthyceleb.com
   12. GoDownSize.com
   13. networthpost.org
   14. tvguidetime.com
   15. thesocialtalks.com
   16. juliangoldie.com
   17. chipperbird.com
   18. EquityAtlas.org
   19. filmifeed.com
2. 100 शब्दों से अधिक लंबे 100 सबसे हालिया पोस्ट्स को स्क्रैप किया
3. कई साइटों को बाहर रखा गया:
   1. juliangoldie.com - अब पूरी तरह डीइंडेक्स नहीं है - 10 पेज इंडेक्स में हैं (लेकिन सार्वजनिक रूप से AI का उपयोग करने की बात स्वीकार करता है)
   2. chipperbird.com - कंटेंट प्राप्त करने में असमर्थ (लेकिन वेबसाइट मालिक सार्वजनिक रूप से AI का उपयोग करने की बात स्वीकार करता है)
   3. equityatlas.org - कंटेंट प्राप्त करने में असमर्थ
   4. filmifeed.com - कंटेंट प्राप्त करने में असमर्थ
   5. thesocialtalks.com - कंटेंट प्राप्त करने में असमर्थ
4. 7 मार्च को model 2.0 Standard का उपयोग करके प्रत्येक लेख को हमारे AI detector (detector efficacy) से गुज़ारा। यह टेस्ट हमारे पिछले मॉडल के साथ पूरा किया गया था। नवीनतम मॉडल पर विवरण के लिए Originality AI checker पर जाएँ।
5. प्रत्येक साइट के लिए Average AI स्कोर और AI-generated होने के संदिग्ध लेखों के % की पहचान करने के लिए विश्लेषण पूरा किया। 

‍

क्या Google द्वारा साइटों के डीइंडेक्स होने के लिए AI कंटेंट जिम्मेदार था?

‍

संक्षिप्त उत्तर है कि हाँ… हमारे AI checker के साथ 200 साइटों और 40k से अधिक URLs का विश्लेषण करने के बाद यह स्पष्ट है कि मैन्युअल कार्रवाई प्राप्त करने वाली अधिकांश साइटें संभवतः AI कंटेंट का उपयोग कर रही थीं। 

‍

5 मार्च के अपडेट के साथ Google ने MediaVine, Ezoic और Raptive जैसे लोकप्रिय विज्ञापन प्लेटफॉर्मों पर मौजूद सभी साइटों में से लगभग 2% को डीइंडेक्स कर दिया। MediaVine जैसे इनमें से कुछ प्लेटफॉर्मों ने इन मैन्युअल कार्रवाइयों के तुरंत बाद सक्रिय रूप से No AI Content रुख अपनाया है (source)।

‍

‍

https://www.mediavine.com/ai-and-our-commitment-to-a-creator-first-future/

‍

अपडेट के समय हमने सार्वजनिक रूप से प्रकट की गई 14 वेबसाइटों का विश्लेषण किया और पहचाना कि उन सभी पर कुछ मात्रा में AI कंटेंट था। इससे बहुत चर्चा शुरू हुई…

‍

‍

लेकिन… हम अधिक व्यापक विश्लेषण करना चाहते थे और उस समय पहले ही प्रकट की जा चुकी 14 साइटों से कहीं अधिक गहराई में जाना चाहते थे।

‍

मेथडोलॉजी:

‍

1. सबसे अधिक ट्रैफिक वाली 200 साइटों की पहचान करें जो डीइंडेक्स हो गई थीं
2. प्रति साइट लगभग 200 हालिया लेखों की पहचान करें 
3. Originality.ai AI detector’ के URL API का उपयोग करके 40k से अधिक URLs पर AI कंटेंट की जाँच की
   1. त्रुटियाँ हटाईं 
   2. 25 से कम लेख जाँची गई साइटों को हटाया
4. इसके बाद हम 175 वेबसाइटों में 30,614 URLs के कंटेंट का विश्लेषण करने में सक्षम हुए

‍

मुख्य निष्कर्ष:

‍

175 साइटों में से 151 ने संभवतः AI कंटेंट प्रकाशित किया था

‍

डीइंडेक्स की गई अधिकांश साइटों पर कुछ AI कंटेंट प्रकाशित हुआ प्रतीत होता है। AI थ्रेशोल्ड को एक रूढ़िवादी 5% के रूप में उपयोग करते हुए (लगभग सभी परीक्षण किए गए डेटासेट में false positive rate < 3% है)।

‍

175 में से 51 Pure (95%+ AI) AI Generated Content Sites थीं

‍

कुछ साइटें AI और Human लिखित कंटेंट दोनों के लिए मिश्रित दृष्टिकोण अपनाती दिखती हैं, जबकि कुछ साइटें स्पष्ट रूप से केवल AI generated content दिखा रही थीं। 

‍

51 साइटें या ~30% साइटें शुद्ध AI generated content थीं।

‍

‍

डीइंडेक्स की गई साइटों के साथ अन्य समानताएँ:

• आक्रामक विज्ञापन
• केवल कंटेंट वाली साइटें

‍

लेकिन ये निष्कर्ष संभवतः सैंपलिंग बायस हो सकते हैं क्योंकि साइटों की सूची MediaVine, Raptive और EZoic (वेब पब्लिशर्स के बीच लोकप्रिय सभी ad networks) से ली गई थी। 

‍

क्या AI कंटेंट की यह मात्रा सामान्य है?

‍

ये निष्कर्ष हमें साइटों के डीइंडेक्स होने के लिए AI कंटेंट को जिम्मेदार ठहराने की ओर नहीं ले जाएँगे यदि AI कंटेंट की यह मात्रा Google के बाकी SERPs में लगातार होती। 

‍

हमारा एक चल रहा अध्ययन है जो 60+ महीनों पीछे तक 500 अलग-अलग कीवर्ड्स के लिए शीर्ष 20 खोज परिणामों में एक वेबपेज के कंटेंट को देख रहा है। 

‍

निष्कर्ष

‍

AI-generated स्पैम द्वारा Googles खोज परिणामों पर हावी होने का जोखिम Google के लिए एक अस्तित्वगत खतरा है। यह Google द्वारा न केवल दंडित करने बल्कि AI generated स्पैम पर अपने दृष्टिकोण के बारे में बयान देने का भी एक स्पष्ट प्रयास प्रतीत होता है।

‍

‍

‍