KI-Prüfer
Plagiatsprüfer
Grammatikprüfung
Inhaltsqualität
Richtlinienprüfer
Lesbarkeitsprüfung
Faktenprüfer
Chrome-Erweiterung
MCP
Bots wie OpenAIs GPTBot, der Applebot, CCBot, Google-Extended, und Bytespider analysieren, speichern oder scrapen die Daten Ihrer Website, um Daten bereitzustellen, mit denen fortschrittlichere LLMs trainiert werden können.
Bei Originality.ai legen wir Wert auf verantwortungsvolle Entwicklung (einschließlich ethischem Scraping) und die Nutzung (AI Detector) generativer KI-Schreibtools wie ChatGPT.
Dieser Artikel wird den Zweck von KI-Bots, ihre Funktionsweise, wie man sie blockiert, und den interessanten Kampf um die Zukunft der KI, der sich in einer kaum bekannten Datei namens robots.txt abspielt, eingehend untersuchen.
KI-Bots gibt es in mehreren Formen, darunter KI-Assistenten, KI-Datenscraper, und KI-Such-Crawler, die alle führende KI-Tools und KI-Suchmaschinen antreiben. Jeder dieser KI-Bots extrahiert Daten aus dem Web. Zahlreiche Webmaster halten diese Praktiken für inakzeptabel und möchten ihre Daten oder Website-Informationen vor dem Scraping schützen.
Da immer mehr Bereiche des Internets KI-Bots blockieren, wird die Anzahl der Wörter, die KI-Unternehmen wie OpenAI, Anthropic für die Entwicklung ihres neuesten LLM (wie GPT-4o, Claude 3.5) zur Verfügung steht, abnehmen, was zu einer langsameren künftigen Verbesserung von KI-Tools führt.
Die gängigste Methode besteht darin, den folgenden Text zu Ihrer Robots.txt-Datei hinzuzufügen:
User-agent: name-of-bot
Disallow: /
Beispiel:
User-agent: GPTBot
Disallow: /
Am Ende dieses Artikels finden Sie eine ausführlichere Erklärung der Optionen zum Blockieren von KI-Bots sowie eine Beispiel-Robots.txt-Datei.
Insbesondere OpenAI war aktiv darum bemüht, Daten-Partnerschaften zu sichern, um seine Bemühungen zum LLM-Training weiter voranzutreiben.
Robots.txt ist ein Internetprotokoll, das Suchmaschinen-Crawlern Informationen darüber bereitstellt, auf welche URLs der Crawler auf Ihrer Website zugreifen kann. Es wird hauptsächlich verwendet, um zu verhindern, dass die Domain durch von Crawlern erzeugte Anfragen überlastet wird.
Es ist wichtig zu wissen, dass Robots.txt eine Aufforderung ist, der Bots folgen sollten, die aber nicht „zwingend“ befolgt werden muss.
Im Hinblick auf das Filtern und Verwalten des Crawler-Traffics auf Ihrer Website hat robots.txt je nach Dateityp einen anderen Anwendungszweck:
Der Hauptzweck von robots.txt besteht darin, den Crawler-Zugriff auf bestimmte Seiten Ihrer Website einzuschränken. Angenommen, Sie haben Bedenken, dass der Server Ihrer Website durch zu viele Google-Anfragen überlastet wird. In diesem Fall können Sie Suchmaschinen-Crawler daran hindern, auf bestimmte Seiten Ihrer Website zuzugreifen, um die Auslastung zu reduzieren.
Sie können die robots.txt-Datei verwenden, um den Crawl-Traffic zu Bildern, Videos und Audiodateien zu verwalten. Dadurch wird verhindert, dass bestimmte Medien in der SERP (Search Engine Results Page) bei Google oder anderen Suchmaschinen erscheinen.
Wenn Sie glauben, dass eine bestimmte Auslastungsrate durch unwichtige Style-Dateien, Bilder oder Skripte verursacht wird, können Sie die robots.txt-Datei verwenden, um den Zugriff bestimmter KI-Crawler, Scraper, Assistenten oder anderer Bots einzuschränken.
Sehen wir uns die verschiedenen Arten von KI-Bots und Crawlern an, die von Unternehmen im Web eingesetzt werden:
KI-Assistenten wie der ChatGPT-User von OpenAI und der von Meta eingesetzte Meta-ExternalFetcher spielen eine wichtige Rolle bei der Beantwortung von Nutzeranfragen. Die Antworten können entweder im Text- oder Sprachformat erfolgen und verwenden die gesammelten Webdaten, um die für den Prompt des Nutzers hilfreichste Antwort zu erstellen.
KI-Web-Scraping ist ein Verfahren, das von KI-Datenscraper- Bots durchgeführt wird, um so viele nützliche Daten wie möglich für das LLM-Training zu sammeln. Unternehmen wie Apple, ByteDance, Common Crawl, OpenAI und Anthropic verwenden KI-Datenscraper, um einen großen Datensatz des Webs zu erstellen, mit dem LLMs trainiert werden können.
Viele Unternehmen setzen KI-Such-Crawler ein, um Informationen über bestimmte Website-Seiten, Titel, Keywords, Bilder und referenzierte Inline-Links zu sammeln. Während KI-Crawler das Potenzial haben, Traffic auf eine Website zu senden, entscheiden sich einige Website-Betreiber dennoch dafür, sie zu blockieren.
ChatGPT-User ist ein Suchassistent-Crawler, der von ChatGPT von Open AI als Ergebnis von Nutzer-Prompts entsandt wird. Die meisten seiner Antworten enthalten in der Regel eine Zusammenfassung der Website-Inhalte sowie einen Referenzlink.
Der Typ des ChatGPT-User-Crawlers ist KI-Assistent, da er verwendet wird, um Aufgaben im Auftrag des ChatGPT-Nutzers intelligent auszuführen.
Es wird erwartet, dass der ChatGPT-User-Suchassistent auf Anfrage des Nutzers einmalige Besuche durchführt, anstatt das Web wie andere Crawler automatisch zu durchsuchen.
Um diesen Crawler zu blockieren, müssen Sie die folgende Anweisung in die robots.txt Ihrer Website aufnehmen:
User-agent: ChatGPT-User
Disallow: /
Der Meta-ExternalFetcher-Crawler wird von allen Produkten von Meta AI bei direkten Nutzer-Prompts entsandt, wann immer ein individueller Link erforderlich ist.
Der Meta-ExternalFetcher-KI-Assistent wird abgerufen, um Aufgaben im Auftrag des Meta AI-Nutzers intelligent auszuführen.
Ähnlich wie der ChatGPT-user-Crawler führt der Meta-ExternalFetcher im Allgemeinen einmalige Besuche auf Grundlage der Anfrage des Nutzers durch, anstatt das Web automatisch zu crawlen.
Sie müssen den folgenden Befehl in die robots.txt Ihrer Website aufnehmen, um den Zugriff von Meta-ExternalFetcher zu verhindern:
User-agent: Meta-ExternalFetcher
Disallow: /
Der Amazonbot-Web-Crawler wird von Amazon verwendet, um Suchergebnisse zu indexieren und zu registrieren, wodurch der Alexa-KI-Assistent Fragen genauer beantworten kann. Die meisten Antworten von Alexa enthalten im Allgemeinen einen Verweis auf die Website.
Amazonbot ist ein KI-Such-Crawler, der zur Indexierung von Webinhalten für Alexas KI-gestützte Suchergebnisse verwendet wird.
Das Besondere an Such-Crawlern ist, dass sie keinem festen Besuchsschema für Websites folgen. Die Besuchshäufigkeit wird durch viele Faktoren bestimmt und erfolgt typischerweise auf Abruf einer Nutzeranfrage, auch beim Amazonbot.
Sie können den Zugriff des Amazonbot auf Ihre Website einschränken, indem Sie die folgenden Befehlszeilen in die robots.txt Ihrer Website eintragen:
User-agent: Amazonbot
Disallow: /
Der Applebot-Such-Crawler wird verwendet, um Suchergebnisse zu registrieren, sodass der Siri-KI-Assistent Nutzerfragen effektiver beantworten kann. Die meisten Antworten von Siri enthalten einen Verweis auf die von Applebot gecrawlten Websites.
Applebot ist ein KI-Such-Crawler, der Webinhalte indexiert, um KI-gestützte Suchergebnisse zu erstellen.
Das Verhalten des Applebot variiert aufgrund mehrerer Faktoren, wie Suchnachfrage, gecrawlten Websites und Nutzeranfragen. Standardmäßig verlassen sich Such-Crawler nicht auf feste Besuche, um Ergebnisse bereitzustellen.
Auch wenn davon abgeraten wird, Such-Crawler zu blockieren, können Sie den folgenden Befehl in der robots.txt der Website verwenden, um den Zugriff des Applebot zu verhindern:
User-agent: Applebot
Disallow: /
Der OAI-SearchBot-Crawler wird verwendet, um einen Index von Websites zu erstellen, der als Ergebnis von OpenAIs SearchGPT-Produkt genutzt werden kann.
Der OAI-SearchBot ist ein KI-Such-Crawler, der zur Indexierung von Webinhalten verwendet wird, um genauere KI-gestützte Suchergebnisse für OpenAIs SearchGPT-Dienst bereitzustellen.
Das Verhalten des OAI-SearchBot kann durch die Häufigkeit von Websuchen und Nutzeranfragen bestimmt werden. Wie jeder andere Such-Crawler verlässt sich der OAI-SearchBot nicht auf feste Website-Besuche, um Ergebnisse bereitzustellen.
Fügen Sie den folgenden Befehl in die robots.txt-Datei Ihrer Website ein, um den Zugriff des OAI-SearchBot aktiv zu verhindern:
User-agent: OAI-SearchBot
Disallow: /
Perplexity verwendet den Web-Crawler PerplexityBot, um Suchergebnisse für eine effektivere Antwort seines KI-Assistenten zu indexieren. Die vom Assistenten bereitgestellten Antworten zeigen normalerweise Inline-Verweise auf eine Vielzahl von Webquellen an.
Der PerplexityBot ist ein KI-Such-Crawler, der dafür entwickelt wurde, Ergebnisse für KI-gestützte Suchergebnisse des Perplexity-KI-Assistenten zu indexieren.
Wie die meisten Such-Crawler hängt der PerplexityBot nicht von einem festen Besuchsplan für die von ihm hervorgehobenen Webquellen ab. Die Häufigkeit der Besuche kann je nach mehreren Faktoren variieren, etwa Nutzeranfragen.
Sie können den Zugriff von PerplexityBot auf Ihre Website einschränken, indem Sie die folgende Agent-Token-Regel in die robots.txt aufnehmen:
User-agent: PerplexityBot
Disallow: /
Der YouBot ist ein von You.ai eingesetzter Such-Crawler, der Suchergebnisse für genauere Nutzerantworten durch den You-KI-Assistenten indexiert. Der Bot verweist im Allgemeinen über Inline-Quellen auf die referenzierten Websites.
Der YouBot Search Crawler indexiert Webinhalte, um genauere KI-gestützte Suchergebnisse zu generieren.
Der YouBot-Crawler hat keinen festen Besuchsplan, und die Häufigkeit der Besuche erfolgt oft nach Bedarf oder als Reaktion auf eine Nutzeranfrage.
Sie müssen den folgenden Befehl in die robots.txt-Datei Ihrer Website einfügen, um den Zugriff des YouBot-Crawlers zu verhindern:
User-agent: YouBot
Disallow: /
Der Applebot-Extended KI-Daten-Scraper wird verwendet, um Apples Reihe von LLM-Modellen zu trainieren, die die generativen KI-Funktionen des Unternehmens antreiben. Dieser Applebot-Scraper hat eine breite Anwendung in allen Bereichen von Apple intelligence, Services und Developer Tools.
Der Applebot-Extended ist ein KI-Daten-Scraper, der zum Herunterladen von Webinhalten und zum Trainieren von KI oder LLM (Large Language Models) verwendet wird
Während unklar bleibt, wie genau KI-Daten-Scraper auswählen, welche Website gecrawlt werden soll, ist bekannt, dass Quellen mit höherer Informationsdichte diesen Scraper Applebot anziehen. Es wäre sinnvoll, wenn ein LLM Websites bevorzugt, die regelmäßig die Webinformationen auf der Seite hochladen und aktualisieren.
Fügen Sie den folgenden Befehl in die robots.txt-Datei Ihrer Website ein, um den Applebot-Extended zu blockieren:
User-agent: Applebot-Extended
Disallow: /
Bytespider wird von ByteDance betrieben und ist ein KI-Daten-Scraper für den chinesischen Eigentümer von TikTok. Er wird verwendet, um LLM-Trainingsdaten herunterzuladen und relevante Daten bereitzustellen.
Bytespider ist ein KI-Daten-Scraper, der verwendet wird, um Large Language Models durch das Herunterladen von Inhalten aus dem Web zu trainieren.
Der Bytespider KI-Daten-Scraper bevorzugt Webquellen mit regelmäßig aktualisierten und faktenreichen Informationen, um sie als Zufuhr für LLMs zu nutzen.
Fügen Sie die folgende User-Agent-Token-Regel in die robots.txt Ihrer Website ein:
User-agent: Bytespider
Disallow: /
CCBot gehört Common Crawl, um ein Open-Source-Repository durch Web-Crawl-Daten aufzubauen, auf das jeder zugreifen und das jeder nutzen kann.
Der CCBot ist ein KI-Daten-Scraper, der dazu bestimmt ist, Webinhalte herunterzuladen und KI-Modelltraining durchzuführen.
Der CCBot crawlt informationsreiche Webquellen, um ein effektiveres LLM-Training zu ermöglichen.
Fügen Sie die folgende Regel in robots.txt ein, um den Zugriff von CCBot einzuschränken:
User-agent: CCBot
Disallow: /
Der ClaudeBot KI-Daten-Scraper wird von Anthropic betrieben, um Large Language Models wie Claude mit Trainingsdaten zu versorgen.
Der ClaudeBot ist ein KI-Daten-Scraper, der zum Herunterladen von Webinhalten und Trainieren von KI-Modellen bestimmt ist.
ClaudeBot wählt die zu crawlenden Websites auf Grundlage der Informationsdichte und der Regelmäßigkeit von Informationsaktualisierungen aus.
Der Zugriff von ClaudeBot kann widerrufen werden, indem die folgende Regel in die robots.txt aufgenommen wird:
User-agent: ClaudeBot
Disallow: /
Der Diffbot ist darauf ausgelegt, ordnungsgemäß strukturierte Website-Daten für KI-Modelltraining und Echtzeitüberwachung zu strukturieren, zu verstehen, zu aggregieren und sogar zu verkaufen.
Der Diffbot ist ein KI-Daten-Scraper, der darauf ausgelegt ist, KI-Modelle zu trainieren und Webinformationen herunterzuladen/zu strukturieren.
Die Häufigkeit der Besuche des Diffbot wird durch die Informationsqualität der Quelle und die Regelmäßigkeit der Aktualisierungen bestimmt.
Das Crawling des Diffbot kann verhindert werden, indem die folgende Regel in der robots.txt angewendet wird:
User-agent: Diffbot
Disallow: /
Der FacebookBot wird von Meta eingesetzt, um die Effizienz der KI-Spracherkennungstechnologie zu verbessern und KI-Modelle zu trainieren.
FacebookBot ist ein KI-Daten-Scraper-Crawler, der zum Erfassen von Webinhalten und für LLM-Training verwendet wird.
Der FacebookBot hat keinen festen Besuchsplan, erkennt aber möglicherweise Quellen mit reichhaltigeren und gut aktualisierten Informationen und stützt sich auf diese.
Der Zugriff von FacebookBot kann mit der folgenden Regel widerrufen werden:
User-agent: FacebookBot
Disallow: /
Der Google-Extended-Crawler wird verwendet, um Trainingsinformationen für Google-eigene KI-Produkte wie den Gemini-Assistenten und die generativen Vertex AI APIs bereitzustellen.
Der Google-Extended-Crawler ist ein KI-Daten-Scraper, der dazu bestimmt ist, Informationen aus dem Web herunterzuladen und KI-Training durchzuführen.
Der Besuchsplan des Google-Extended-Bots ist ebenfalls flexibel, aber aufgrund von Googles umfangreicher Datenbank zuverlässiger Informations-Webquellen ist er deutlich gezielter als andere Crawler.
Der Google-Extended-Crawler kann mit der folgenden Regel auf die Blacklist gesetzt werden:
User-agent: Google-Extended
Disallow: /
Der GPTBot wird von OpenAI entwickelt, um Webquellen zu crawlen und Trainingsdaten für die Large Language Models des Unternehmens und Produkte wie ChatGPT herunterzuladen.
Der GPTBot ist ein KI-Daten-Scraper, der darauf ausgelegt ist, eine breite Palette von Daten aus dem Web herunterzuladen und bereitzustellen.
Wie andere KI-Daten-Scraper bevorzugt der GPTBot informationsreiche Quellen und Websites, um relevantere Informationen für KI-Trainingsverfahren bereitzustellen.
Sie können den GPTBot KI-Daten-Scraper mit der folgenden robots.txt-Regel blockieren:
User-agent: GPTBot
Disallow: /
Meta-ExternalAgent ist eine von Meta entwickelte Crawler-Technologie, um die KI-Technologien des Unternehmens durch direktes Herunterladen und Indexieren von Webinhalten zu verbessern.
Der Meta-ExternalAgent nutzt eine KI-Datenscraper-Technologie, um Webinhalte herunterzuladen und zu indexieren, die für KI-Training bestimmt sind.
Ähnlich wie andere vom Unternehmen entwickelte Crawler verwendet der Meta-ExternalAgent eine flexible Crawling-Strategie, um informationsreiche Webquellen gezielt zu ermitteln.
Dieser von Meta entwickelte Crawler kann durch die folgende robots.txt-Regel eingeschränkt werden:
User-agent: Meta-ExternalAgent
Disallow: /
Der omgili-Crawler gehört Webz.io und wurde entwickelt, um eine aufgebaute Bibliothek von Web-Crawl-Daten zu pflegen, die anschließend zu KI-Trainingszwecken an andere Unternehmen verkauft wird.
Der omgili-Crawler ist ein KI-Datenscraper, der KI-Trainingsinformationen aus dem Web herunterlädt.
Da die gecrawlten Informationen anschließend von Webz.io verkauft werden, verfolgt der omgili-Crawler glaubwürdige und autorisierte Websites mit relevanten Informationen.
Verwenden Sie die folgende Regel, um den Zugriff des omgili-Crawlers auf Ihre Website zu verhindern:
User-agent: omgili
Disallow: /
Der unbestätigte Anthropic-AI-Agent wird tendenziell verwendet, um relevante Trainingsdaten herunterzuladen und sie den KI-gestützten Produkten des Unternehmens, wie Claude, bereitzustellen.
Der genaue Typ des Anthropic-AI-Agenten ist aufgrund fehlender Offenlegung durch das Unternehmen noch unbekannt.
Aufgrund fehlender relevanter Informationen über den Anthropic-AI-Agenten kann der Crawler für mehrere Zwecke verwendet werden, doch dies lässt sich weiterhin schwer sagen.
Der Anthropic-AI-Agent kann mit der folgenden Regel blockiert werden:
User-agent: anthropic-ai
Disallow: /
Claude-Web ist ein weiterer KI-Agent, der von Anthropic betrieben wird, ohne offizielle Dokumentation zu seinen Verwendungszwecken. Es wird erwartet, dass Claude-Web relevante LLM-Trainingsdaten für Anthropic bereitstellt.
Claude-Web wird entweder ein KI-Datenscraper oder ein standardmäßiger Such-Crawler für Anthropics Claude 3.5 Large Language Model sein.
Anthropic hält Informationen über die Funktionen von Claude-Web zurück, aber das Verhalten des Crawlers wird dem Typ des Agenten entsprechen, sobald dieser vollständig offengelegt ist.
Die folgende Regel wird verwendet, um den Crawling-Zugriff des Claude-Web-Agenten auf Ihre Website auszusetzen:
User-agent: Claude-Web
Disallow: /
Cohere-AI ist ein undokumentierter Agent, der von Cohere entwickelt wurde, um deren generative KI-Tools mit relevanten Studieninformationen zu versorgen. Er ruft Informationen aus dem Web ab, wenn Benutzer über Cohere AI dazu auffordern.
Da für diesen Cohere AI-Agenten keine Dokumentation verfügbar ist, ist der Typ des Crawlers vielen Website-Betreibern noch unbekannt.
Es wird vermutet, dass der Cohere-AI-Agent durch unterschiedliche Verhaltensmuster vielseitig eingesetzt wird, um Cohere-Nutzer mit relevanten Informationen und eingebetteten Quellenlinks zu versorgen.
Sie können den Zugriff des Cohere-AI Agenten durch die folgende Regel aussetzen:
User-agent: cohere-ai
Disallow: /
Die Hauptfunktion des Ai2Bot besteht darin, „bestimmte Domains“ zu crawlen und Webinhalte für das Training von Sprachmodellen zu erfassen.
Wie von Ai2 berichtet, ist der Ai2Bot ein KI-Such-Crawler, da er Inhalte, Bilder und Videos auf der gecrawlten Website analysiert.
Der Ai2Bot crawlt laut Angaben des Unternehmens nur bestimmte Websites, kann seinen Bereich registrierter Domains jedoch täglich erweitern.
Fügen Sie die folgende Regel in die robots.txt Ihrer Website ein, um den Ai2Bot auszusetzen:
User-agent: Ai2Bot
Disallow: /
Das Unternehmen Ai2 besitzt den Ai2Bot-Dolma-Bot und respektiert robots.txt-Regeln. Die erfassten Inhalte werden verwendet, um eine Vielzahl von Sprachmodellen des Unternehmens zu trainieren.
Obwohl dem Bot kein spezifischer Typ zugewiesen ist, glauben wir, dass er das Verhalten eines standardmäßigen KI-Such-Crawlers aufweist.
Der Ai2Bot-Dolma crawlt nur „bestimmte Domains“, um die für das Training von Sprachmodellen erforderlichen Webinhalte zu finden.
Verwenden Sie die folgende robots.txt-Zeile, um den Zugriff von Ai2Bot-Dolma einzuschränken:
User-agent: Ai2Bot-Dolma
Disallow: /
Obwohl über diesen Crawler nicht viel bekannt ist, respektiert er die robots.txt und wird verwendet, um Daten für Machine-Learning-Experimente zu erfassen.
Der Typ des Bots ist noch unbekannt, aber wir glauben, dass es sich aufgrund seines Webverhaltens entweder um einen generischen Crawler oder einen KI-Datenscraper handelt.
Es ist unklar, wer der Betreiber dieses Bots ist, aber die Daten werden für das Training großer Sprachmodelle, Machine Learning und die Erstellung von Datensätzen verwendet.
So setzen Sie den Zugriff von FriendlyCrawler auf Ihre Website aus:
User-agent: FriendlyCrawler
Disallow: /
Der GoogleOther-Crawler ist ein Bot, der Google gehört, aber es ist noch unklar, ob er KI-bezogen oder überhaupt künstlich intelligent ist. Derzeit hat nur ein einstelliger Prozentsatz der leistungsstärksten Websites den GoogleOther-Bot blockiert.
Der GoogleOther-Bot ist ein Suchmaschinen-Crawler, der Webinhalte für genauere Suchmaschinenergebnisse oder die Google-SERP indexiert.
Wie jeder andere Suchmaschinen-Crawler hält sich der GoogleOther-Bot nicht an einen bestimmten Besuchsplan, und die Besuchsfrequenz variiert je nach Website-Aktivität und Inhaltsqualität.
Fügen Sie die folgende Regel zur robots.txt-Datei Ihrer Website hinzu:
User-agent: GoogleOther
Disallow: /
GoogleOther-Image ist die Version von GoogleOther, die dafür vorgesehen ist, Bilder im Web zu crawlen, zu analysieren und zu indexieren
Wie GoogleOther ist der GoogleOther-Image-Bot ein generischer Crawler, der von verschiedenen Produktteams verwendet wird, um Website-Inhalte öffentlich zugänglich zu machen.
Dieser Crawler hält sich nicht an einen festen Besuchsplan, sondern analysiert die zuverlässigsten Bildquellen im Web und indexiert bestimmte Informationen.
Sie können diesen Google-Crawler mit dem folgenden Befehl blockieren:
User-agent: GoogleOther-Image
Disallow: /
Wie der standardmäßige GoogleOther-Crawler und der bilderregistrierende Bot crawlt und analysiert GoogleOther-Video Videoinhalte im Web.
Dieser Bot ist ein generischer Crawler, der einer Vielzahl von Produktteams dient und Unternehmen dabei hilft, mit den auf ihrer Website hochgeladenen Videos eine bessere Reichweite zu erzielen.
Wie die anderen Versionen von GoogleOther hat auch dieser Crawler einen flexiblen Besuchsplan, der durch die Aktivität und Qualität der Videoinhalte einer Website definiert wird.
Dieser Google-Bot kann mit der folgenden robots.txt-Zeile blockiert werden:
User-agent: GoogleOther-Video
Disallow: /
Der ICC-Crawler ist ein Agent, der vom Ersteller noch nicht kategorisiert wurde. Es ist noch unbekannt, ob dieser Crawler künstlich intelligent ist oder etwas mit KI zu tun hat.
Wie bei seiner Quelle ist auch der Typ des ICC-Crawler-Bots unbekannt.
Das Verhalten des Bots variiert je nach Typ des Crawlers, insbesondere ob es sich um einen Datenscraper, Suchmaschinen-Crawler oder Archivierer handelt.
Der ICC-Crawler kann mit dem folgenden Befehl blockiert werden:
User-agent: ICC-Crawler
Disallow: /
Der Imagesift-Bot gehört Hive, aber derzeit ist nicht bekannt, ob der Crawler AI-bezogen oder künstlich intelligent ist.
Der ImagesiftBot ist ein Informationssammler, der im Web nach nützlichen Erkenntnissen sucht und die Ergebnisse in einer Datenbank registriert oder indexiert.
Das Verhalten der Informationssammler-Crawler hängt von den Zielen ihrer Kunden ab. Beispielsweise könnte ein Kunde daran interessiert sein, seine Marke bekannter zu machen, was dazu führt, dass der Bot soziale Medien häufiger crawlt als andere, nicht damit zusammenhängende Websites.
Dieser Crawler kann auf folgende Weise blockiert werden:
User-agent: ImagesiftBot
Disallow: /
Der PetalBot von Huawei ist derzeit auf 2% der beliebten indexierten Websites gesperrt. Es ist weiterhin unbekannt, ob dieser Crawler künstlich intelligent ist oder in irgendeiner Weise mit AI in Verbindung steht.
PetalBot ist ein Suchmaschinen-Crawler, der Webinhalte indexiert und Daten aus Suchmaschinenergebnissen erfasst.
Das Verhalten von PetalBot wird durch die Qualität der Inhalte und die Aktivität der registrierten Websites und Domains bestimmt. Suchmaschinen-Crawler neigen dazu, Websites mit höherer Inhaltsqualität und häufiger Aktivität zu crawlen.
Der Zugriff von PetalBot kann auf folgende Weise gesperrt werden:
User-agent: PetalBot
Disallow: /
Scrapy gehört Zyte und ist derzeit auf mehr als 3% der registrierten Domains im Web blockiert.
Scrapy ist ein AI-Scraper; diese Crawler sind dafür berüchtigt, die robots.txt einer Website nicht zu respektieren. Er wird die benötigten Informationen letztlich analysieren, selbst wenn dies bedeutet, auf eine Website zuzugreifen, die eine Disallow-robots.txt-Regel für Scrapy hat.
Den Besuchsplan eines AI-Scrapers vorherzusagen, ist nahezu unmöglich. Diese Crawler werden zu unterschiedlichen Zwecken eingesetzt, und es ist schwer zu sagen, welche Websites und wie oft er sie crawlen würde.
Obwohl robots.txt gegen AI-Scraper nicht viel ausrichtet, blockiert man Scrapy so:
User-agent: Scrapy
Disallow: /
Timpibot gehört Timpi und ist derzeit auf 3% der beliebten indexierten Websites blockiert. Der einzige Zweck von Timpibot besteht darin, Webdaten für das Training von AI-Modellen zu erfassen.
Im Gegensatz zu einem Standard-Scraper ist Timpibot ein AI-Daten-Scraper, der sich ausschließlich auf künstliche Intelligenz stützt, um Webinhalte zu crawlen und zu indexieren.
Ähnlich wie bei Standard-Scrapern ist auch der Besuchsplan von AI-Daten-Scrapern unklar. Diese Crawler neigen dazu, Websites mit höherer Informationsdichte und höherem Inhaltswert auszuwählen, abhängig von den für das Training des AI-Modells benötigten Informationen.
Der Zugriff von Timpibot kann mit der folgenden robots.txt-Regel gesperrt werden:
User-agent: Timpibot
Disallow: /
Der VelenPublicCrawler wird von Hunter betrieben und wurde von 0% der am besten indexierten Websites im Web blockiert.
Der Crawler ist ein standardmäßiger Informationssammler, der darauf ausgelegt ist, nützliche Erkenntnisse aus Webergebnissen zu sammeln.
Informationssammler neigen dazu, die Ziele ihrer Kunden zu erfüllen, und haben in den meisten Fällen spezifische Aufgaben bezüglich der zu sammelnden Informationen.
VelenPublicWebCrawler kann mit dem folgenden Befehl blockiert werden:
User-agent: VelenPublicWebCrawler
Disallow: /
Webzio-Extended ist ein weiterer Crawler von Webz.io, der verwendet wird, um das Repository der erfassten Crawl-Daten zu pflegen. Die Informationen werden anschließend an andere Unternehmen verkauft und typischerweise für das Training von AI-Modellen verwendet.
Webzio-Extended ist ein AI-Daten-Scraper, der Webinhalte herunterlädt, um AI-Modelle zu trainieren.
AI-Daten-Scraper wie Webzio-Extended halten sich nicht an eine feste Besuchsfrequenz von Websites. Datenreichere Quellen ziehen die Scraper tendenziell stärker an und führen dazu, dass sie häufiger crawlen.
Der Zugriff von Webzio-Extended auf Ihre Website kann mit dem folgenden Befehl gesperrt werden:
User-agent: Webzio-Extended
Disallow: /
Der facebookexternalhit-Crawler ist ein von Meta eingesetzter Bot, der auf mehr als 6% der registrierten beliebten Websites blockiert ist. Es ist weiterhin unklar, ob der Bot künstlich intelligent ist oder mit AI in Verbindung steht.
Facebookexternalhit ist ein Fetcher, der Webergebnisse im Auftrag einer Anwendung crawlt.
Fetcher werden typischerweise eingesetzt, um Websites bei Bedarf zu besuchen. Sie werden verwendet, um dem anfragenden Benutzer beispielsweise die Metadaten eines bestimmten Links, einen Titel oder ein Vorschaubild anzuzeigen.
Dieser Meta-Crawler kann mit der folgenden robots.txt-Regel blockiert werden:
User-agent: facebookexternalhit
Disallow: /
Es ist bekannt, dass img2dataset der einzige Webcrawler des Unternehmens ist, der darauf ausgelegt ist, eine große Anzahl von Bildern herunterzuladen und sie in Datensätze umzuwandeln, um große Sprachmodelle zu trainieren.
Der Typ von img2dataset ist noch unbekannt, aber wir glauben, dass es sich basierend auf seinem Verhalten und Besuchsplan um einen AI-Suchmaschinen-Crawler handelt.
Img2dataset neigt dazu, Websites mit einer umfangreicheren Bilddatenbank und mit einer Vielzahl von Themen zu crawlen.
Dieser Crawler kann mit der folgenden Regel gesperrt werden:
User-agent: img2dataset
Disallow: /
Es gibt mehrere einzigartige Möglichkeiten, unerwünschten Bot-Traffic auf Ihre Website einzuschränken:
Die gebräuchlichste Methode besteht darin, den folgenden Text zu Ihrer Robots.txt-Datei hinzuzufügen:
User-agent: name-of-bot
Disallow: /
Beispiel:
User-agent: GPTBot
Disallow: /
Das Erstellen einer leicht zugänglichen robots.txt-Datei umfasst mehrere einfache Schritte:
Während dieses Schritts müssen Sie auf das Stammverzeichnis der Website zugreifen. Dort muss die Datei gespeichert werden, um den Crawler-Zugriff auf Ihre Website wirksam einzuschränken. Beachten Sie, dass Ihre Website nur eine einzige robots.txt-Datei haben kann.
Sie können einen beliebigen Editor verwenden, um die Datei zu erstellen, etwa Windows-NotePad, TextEdit und vi. Stellen Sie sicher, dass die Datei in UTF-8-Codierung gespeichert ist, und fahren Sie mit dem Anwenden der Regeln fort. Die Crawler von Google reagieren auf die folgenden Regeln: "user-agent," "disallow," "allow" und "sitemap." Jede Regel hat ihren eigenen Zweck in Bezug auf die Verwaltung von Crawlern.
Der nächste Schritt besteht darin, die neu erstellte robots.txt-Datei öffentlich zugänglich zu machen, indem Sie ein privates Browserfenster in Ihrem Browser öffnen und zum Speicherort der Datei navigieren. Sie können überprüfen, ob die robots.txt öffentlich zugänglich ist, indem Sie die Website-Domain eingeben, zum Beispiel "https://(site name)", und am Ende ein "/robots.txt" hinzufügen.
Wie wir bereits zuvor festgestellt haben, wird das Einfügen einer Einschränkungsregel für einen bestimmten Bot in die robots.txt Ihrer Website die Seite weder deindexieren noch aus der SERP entfernen. Beim Versuch, auf Ihre Seite zuzugreifen, erhält der Bot automatisch eine Fehlermeldung und wird weggeleitet, ohne Zugriff auf den Inhalt der Seite zu erhalten.
Die Seite bleibt weiterhin für alle Benutzer und AI-Bots auffindbar, aber Bots, die das in der robots.txt-Datei aufgeführte Namensschild tragen, erhalten keinen Zugriff.
Diese Beispieldatei blockiert:
Das Blockieren der Daten-Scraper, aber nicht des Crawlers und des Suchassistenten, zielt darauf ab, die Nutzung der Daten einer Website für Trainingszwecke einzuschränken, aber AI-Suche/Assistenten zu ermöglichen, Traffic an die Website zu senden.
Es gibt mehrere Möglichkeiten, wenn es darum geht, den Zugriff von AI-Bots mithilfe einer Firewall zu sperren. Sehen wir uns jede der einzigartigen Möglichkeiten an:
Wenn Ihnen die von Bots verwendeten Adressen, mit denen sie auf Ihre Domain zugreifen, genau bekannt sind, können Sie die IPs auf eine Blacklist setzen über die Firewall Ihrer Website. Es ist eine allgemein bekannte Praxis, unbeabsichtigten Traffic auf Ihre Website zu reduzieren und Ressourcen zu schonen. Bots können jedoch mehrere IPs durchwechseln.
Die vielleicht am weitesten bevorzugte Methode, um Bot-Traffic zu Ihrer Website zu 100% zu sperren, ist die Implementierung einer CAPTCHA-Software, die eine menschliche Validierung erfordert. Jeder neue Besucher wird aufgefordert, eine einfache Aufgabe zu lösen, etwa Puzzleteile zuzuordnen oder Objekte in einer Reihe von Bildern zu identifizieren, um Zugriff zu erhalten. Firewalls können so modifiziert werden, dass sie CAPTCHAs auslösen.
CDN-Dienste wie Cloudflare oder Amazon CloudFront können in die Firewall Ihrer Website integriert werden, um den Traffic von AI-Bots zu reduzieren. Ähnlich wie bei CAPTCHA-Aufgaben dürfen nur gültige IP-Adressen, die echten Benutzern gehören, auf Ihre Website zugreifen.
Da eine Vielzahl von Webmastern auf robots.txt setzt, um unerwünschten Bot-Traffic auf ihre Website zu sperren, ist jede Regel innerhalb der Datei auf einen bestimmten Bot ausgerichtet. Nachdem Unternehmen begannen, den Traffic-Rückgang ihrer Bots zu spüren, entschieden sich viele, ihren Bots einen neuen Namen zu geben der in der robots.txt-Datei vieler Websites nicht enthalten war.
Ein aktuelles Beispiel ist, wie Anthropic seine AI-Daten-Scraper mit den Namen “ANTHROPIC-AI” und “CLAUDE-WEB” zu einem neuen Bot namens “CLAUDEBOT” zusammengeführt hat. Es dauerte sicherlich eine Weile, bis Websites davon erfuhren, und in der Zwischenzeit hatte der neue Bot beispiellosen Zugriff auf alle Websites im Internet.
Mit der zunehmenden und weitverbreiteten Nutzung öffentlicher Informationen durch AI-Unternehmen zum Trainieren großer Sprachmodelle wird die Ineffektivität von Webprotokollen offensichtlich. Als Reaktion auf das umfangreiche Data Scraping, das von Webdaten-AI-Unternehmen wie C4, Dolma, und Refined Web durchgeführt wurde, gab es einen Rückgang von 28%-45% beim Crawler-Zugriff.
Volle 45% von C4 wurden inzwischen eingeschränkt, wobei viele der Einschränkungen vielfältig sind und die Gesetze allgemeiner AI-Infrastrukturen durch robots.txt skalieren. Die Forderung nach Dateneinwilligung wird nicht nur für kommerzielle AI, sondern für alle Arten akademischer Forschung und nichtkommerzieller AI-Nutzung immer anspruchsvoller.
Das Aufeinandertreffen von AI-Unternehmen, die versuchen, so viele Daten wie möglich zu scrapen, um LLMs zu trainieren, und Publishern, die daran arbeiten, ihre Daten/Bandbreite vor Missbrauch zu schützen, hat zu einem interessanten Konflikt geführt, der sich in einer wenig bekannten Datei auf allen Websites abspielt, der sogenannten robots.txt.
Dieser Leitfaden zielt darauf ab, zu verfolgen, wie sich dieses Drama mit unserem Live-Dashboard entwickelt, das zeigt, welche der top 1000 Websites AI-Bots blockieren, wie man sie blockiert und welche man blockieren sollte.
Wenn uns Bots fehlen, die Sie gerne aufgenommen sehen würden, wenden Sie sich bitte an uns.
KI- & Plagiatsdetektor für anspruchsvolle Content-Publisher
Originality.ai
64 Hurontario St
Collingwood, Ontario
L9Y 2L6
