Zum Inhalt springen
Doctor SEO
Kostenlose SEO-Analyse

robots.txt-Checker: Regeln für Googlebot und KI-Crawler testen

Kostenloser robots.txt-Checker: liest deine Datei mit Googles Regeln, zeigt Gruppe und Zeile, die über jede URL entscheiden, und testet Googlebot, Bingbot und 12 KI-Crawler auf einmal.

Gib deine Domain ein, und dieser robots.txt-Checker liest die Datei so, wie Google laut eigener Dokumentation sie liest: mit dem Limit von 500 KiB, den vier Feldern, die Google unterstützt, der Gruppe, der jeder Crawler folgt, und der Regel, die entscheidet, wenn zwei Regeln passen. Zu jedem Befund zeigt er die genaue Zeile und erklärt, wie du sie korrigierst. Wähle unter „Crawlen als“ einen Crawler, von Googlebot und Bingbot bis GPTBot, ClaudeBot oder PerplexityBot, und die ganze Prüfung läuft mit dessen Regeln.

Wir laden die /robots.txt dieses Hosts. Gibst du die vollständige URL einer Seite ein, prüfen wir zusätzlich, ob sie gecrawlt werden darf.

Die Datei wird mit dem User-Agent dieses Crawlers geladen und mit seinen Regeln gelesen. Die Zugriffstabelle vergleicht alle Crawler.

Eine robots.txt kann völlig korrekt sein und trotzdem nicht das tun, was ihr Autor glaubt. Als wir den Checker am 10. Oktober 2026 auf eine große US-Nachrichtenseite angesetzt haben, enthielt deren Datei mit 365 Zeilen keinen einzigen Syntaxfehler. GPTBot hat dort aber eine eigene Gruppe, folgt also nur dieser und ignoriert alle 109 Regeln für User-agent: *. Applebot hat keine eigene Gruppe und folgt am Ende der Googlebot-Gruppe. Bingbot folgt der *-Gruppe. Nichts davon sieht man, wenn man die Datei von oben nach unten liest, und genau das zeigt die Zugriffstabelle.

Was der robots.txt-Checker prüft

Der robots.txt-Checker von doctor-seo.net führt rund 80 Prüfungen durch. Jeder Befund verlinkt das Dokument, auf dem er beruht: Googles robots.txt-Dokumentation, RFC 9309 (der IETF-Standard für das Robots Exclusion Protocol) oder Googles Open-Source-Parser für robots.txt. Die Prüfungen gliedern sich in sechs Bereiche.

Bereich Was geprüft wird Beispiel für einen Fehler
Abruf HTTP-Status für den gewählten Crawler, Weiterleitungen (bis zu fünf), eine HTML-Seite statt einer Textdatei, Content-Type, Cache-Control, Größe gegenüber dem Limit von 500 KiB, UTF-8, Byte Order Mark robots.txt liefert 5xx oder 429, und Google stellt das Crawling der Website ein
Syntax Zeilen, die nicht „Feld: Wert“ sind, fehlende Doppelpunkte, falsch geschriebene Feldnamen, Regeln vor jeder User-agent-Zeile, vollständige URLs oder Pfade ohne führenden Schrägstrich, Leerzeichen in Pfaden, $ mitten im Pfad, doppelte Regeln Disallow: https://example.com/privat/, was nie auf etwas passt
Gruppen Welcher Gruppe jeder Crawler folgt, zusammengeführte Gruppen für denselben Crawler, Crawler, die wegen einer eigenen Gruppe die *-Regeln ignorieren, Gruppen ohne Regeln, User-agent-Namen, die kein Crawler verwendet Eine crawlerspezifische Gruppe, durch die alle Regeln der *-Gruppe wegfallen
Regeln Die ganze Website für einen Crawler gesperrt, Allow und Disallow für denselben Pfad, typische CSS- und JavaScript-Pfade gesperrt, /wp-admin/admin-ajax.php gesperrt, nicht unterstützte Felder wie noindex, crawl-delay oder host Disallow: / für Googlebot
Sitemaps Sitemap-Zeilen ohne vollständige URL und für die ersten fünf aufgeführten Sitemaps: Status für den gewählten Crawler, Weiterleitungen, ob es wirklich eine Sitemap ist, andere Hosts, eine Disallow-Regel, die die Sitemap selbst sperrt Die aufgeführte Sitemap liefert 404
Crawling robots.txt, wie sie die User-Agents von 14 Crawlern erhalten, die Startseite und bis zu 20 URLs deiner Wahl für jeden Crawler getestet, CSS, JavaScript und Bilder der Startseite gegen die Regeln für Googlebot getestet, die http/https- und www-Varianten des Hosts robots.txt wird dem User-Agent eines Crawlers verweigert, während sie für die anderen lädt

Du kannst auch Regeln einfügen, bis zu 512 KB, um eine robots.txt vor der Veröffentlichung zu testen. Gib die URL der Website dazu an, dann laufen die URL-Tests gegen die eingefügten Regeln.

Wie Google eine robots.txt liest

Die meisten Fehler in einer robots.txt gehen auf vier Regeln aus Googles Dokumentation zurück, die man der Datei nicht ansieht. Der Checker wendet alle vier an.

  1. Eine Gruppe pro Crawler. Für jeden Crawler gilt nur eine Gruppe: die mit dem spezifischsten passenden User-Agent. Ein Crawler mit eigener Gruppe ignoriert die *-Gruppe vollständig; beide werden nie kombiniert. Hat derselbe Crawler mehrere Gruppen, führt Google sie zu einer zusammen.
  2. Die längste Regel gewinnt. Innerhalb der Gruppe wenden Crawler die spezifischste Regel an, gemessen an der Länge ihres Pfads. Allow: /blog/beitrag schlägt Disallow: /blog/ für diesen Beitrag, weil die Regel länger ist, egal wo sie in der Datei steht.
  3. Bei Gleichstand gewinnt Allow. Bei widersprüchlichen Regeln, auch mit Platzhaltern, wendet Google die am wenigsten einschränkende an.
  4. Nur vier Felder zählen. Google unterstützt user-agent, allow, disallow und sitemap; andere Felder wie crawl-delay nicht. Eine noindex-Zeile in der robots.txt bewirkt bei Google seit dem 1. September 2019 nichts mehr.

Zwei Details stolpern in der Praxis viele. Leerzeilen beenden keine Gruppe: User-agent: Googlebot, eine leere Zeile und User-agent: Bingbot bilden eine einzige Gruppe, die sich beide teilen. Und ein * am Ende bringt nichts, weil jede Regel ohnehin auf alles passt, was mit ihrem Pfad beginnt: /privat/* und /privat/ sind dieselbe Regel.

So liest du die Ergebnisse

Der Checker ordnet die Befunde in vier Stufen. Fehler ändern, wie Google die Website crawlt, oder sperren deutlich mehr als vermutlich gewollt: eine 5xx-Antwort, die ganze Website für Googlebot gesperrt, eine Regel, die nie passen kann. Warnungen funktionieren, kosten dich aber etwas, etwa eine aufgeführte Sitemap, die nicht lädt, oder eine Gruppe, durch die die *-Regeln unbemerkt wegfallen. Verbesserungen sind Aufräumarbeiten wie überflüssige Platzhalter und doppelte Regeln. Gut zu wissen ist Information, etwa der Cache-Control-Header oder eine Content-Signal-Zeile.

Jeder Befund zeigt die betroffenen Zeilen. Ein Klick springt zur Zeile im Dateibetrachter, in dem die Gruppe des gewählten Crawlers hervorgehoben ist. Die URL-Testtabelle zeigt das Ergebnis jeder URL und die Zeile, die darüber entscheidet. „Bericht kopieren“ kopiert das ganze Ergebnis als reinen Text, und der Teilen-Link wiederholt dieselbe Prüfung mit demselben Crawler.

Was passiert, wenn die robots.txt nicht lädt

Der HTTP-Status der robots.txt zählt so viel wie ihr Inhalt, denn manche Fehler liest Google als „alles crawlen“ und andere als „nichts crawlen“. Der Checker ruft die Datei mit dem User-Agent jedes Crawlers ab und zeigt, was jeder erhalten hat.

Antwort Was Google tut
200 Wendet die Regeln an.
3xx Folgt mindestens fünf Weiterleitungen und behandelt die Datei danach wie einen 404.
4xx außer 429 Verhält sich, als gäbe es keine gültige robots.txt: keine Crawling-Einschränkungen.
5xx, 429 oder keine Antwort In den ersten 12 Stunden stoppt Google das Crawling der Website und versucht weiter, die robots.txt abzurufen. In den 30 Tagen danach nutzt es die letzte gute Version.

Deshalb sperrt eine Firewall, die einem unbekannten Crawler beim Abruf der robots.txt mit 403 antwortet, diesen nicht aus: Nach Googles Regeln bedeutet 403 keine Einschränkungen. Wer einen Crawler fernhalten will, schreibt die Regel in die robots.txt oder verweigert den Zugriff auf die Seiten selbst.

Googlebot, Bingbot und KI-Crawler testen

Die Zugriffstabelle führt die Prüfung für 14 Crawler gleichzeitig durch. Für jeden zeigt sie die Gruppe, der er folgt, und die Zeile, in der sie beginnt, ob Startseite und Test-URLs erlaubt sind und was der Server antwortete, als die robots.txt mit dem User-Agent dieses Crawlers abgerufen wurde.

Gruppe Crawler in der Tabelle Wofür der Betreiber sie nutzt
Suchmaschinen Googlebot, Bingbot, Applebot Websuchergebnisse
KI-Suche OAI-SearchBot, Claude-SearchBot, PerplexityBot Der Index hinter den Antworten von ChatGPT search, Claude und Perplexity
KI-Assistenten, auf Nutzeranfrage ChatGPT-User, Claude-User, Perplexity-User Abruf einer Seite, die ein Nutzer vom Assistenten lesen lassen will
KI-Training GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, Meta-ExternalAgent Daten für das Training von Modellen sammeln

Google-Extended und Applebot-Extended sind robots.txt-Tokens, keine Crawler: Die Regel wird beachtet, abgerufen wird aber mit Googlebot und Applebot. Manche Abrufdienste, die auf Nutzeranfrage arbeiten, geben an, robots.txt bei einer ausdrücklich angefragten Seite womöglich nicht anzuwenden; die Tabelle vermerkt das, wenn es der Betreiber selbst so beschreibt.

Der Checker sagt dir nicht, welche KI-Crawler du zulassen sollst. Ob man Trainings- oder Antwort-Bots sperrt, ist eine geschäftliche Entscheidung, bei der die Branche gespalten ist, und doctor-seo.net hat dazu keine Position bezogen. Der Checker zeigt, ob du das sperrst, was du sperren wolltest.

Alle Testanfragen kommen vom Server von doctor-seo.net, nicht aus den IP-Bereichen von Google, Microsoft, OpenAI oder Anthropic. Eine Firewall, die Crawler anhand der IP-Adresse verifiziert, kann die Imitation anders behandeln als den echten Crawler. Bestätige alles, was Googlebot betrifft, mit dem robots.txt-Bericht und der URL-Prüfung in der Search Console. In unserem Test der oben genannten Nachrichtenseite antworteten die fünf geprüften Sitemaps dem GPTBot-User-Agent von unserem Server mit 403; das kann gewollt sein oder eine Firewall, die auf einen nicht verifizierten Crawler reagiert.

Häufige robots.txt-Fehler und wie du sie behebst

  1. Eine crawlerspezifische Gruppe ohne die allgemeinen Regeln. Wer User-agent: Googlebot mit einer einzigen Regel ergänzt, sorgt dafür, dass Googlebot alles unter User-agent: * ignoriert. Kopiere die allgemeinen Regeln, die weiter gelten sollen, in diese Gruppe.
  2. CSS und JavaScript sperren. Google rendert Seiten mit ihren Skripten und Stylesheets und empfiehlt, sie nicht zu sperren. Der Checker testet CSS-, JavaScript- und Bilddateien deiner Startseite gegen die Regeln für Googlebot.
  3. Seiten per robots.txt aus Google entfernen wollen. Eine gesperrte Seite kann trotzdem über Links indexiert werden, nur ohne Inhalt. Damit sie nicht in den Index kommt, erlaube das Crawling und setze ein noindex-Meta-Tag oder einen noindex-Header.
  4. Eine Sitemap-Zeile mit relativem Pfad. Das Feld braucht eine vollständige URL mit Protokoll und Host. Schreib Sitemap: https://example.com/sitemap.xml.
  5. /wp-admin/admin-ajax.php in WordPress sperren. Die Standard-robots.txt von WordPress sperrt /wp-admin/, erlaubt aber diese Datei, weil Themes und Plugins Inhalte darüber laden.

Was dieser Checker nicht sagen kann

  • Welche robots.txt Google im Cache hat. Google speichert die Datei in der Regel bis zu 24 Stunden. Der robots.txt-Bericht in der Search Console zeigt, welche Version Google abgerufen hat und wann.
  • Ob eine URL indexiert ist. robots.txt steuert das Crawling, nicht die Indexierung.
  • Was die echten Crawler von ihren eigenen IP-Adressen bekommen. Siehe den Hinweis oben.
  • Jede Sitemap einer langen Liste. Abgerufen werden die ersten fünf Sitemap-Zeilen; der XML-Sitemap-Checker analysiert jede davon vollständig.
  • Wie andere Crawler Grenzfälle lesen. Die Regeln folgen RFC 9309 und Googles Dokumentation. Andere Crawler stimmen meist überein, aber nicht in allem, etwa bei crawl-delay.

Kurz gesagt

  • Google liest die ersten 500 KiB einer robots.txt und unterstützt vier Felder: user-agent, allow, disallow und sitemap.
  • Ein Crawler folgt nur seiner spezifischsten Gruppe, und eine eigene Gruppe ignoriert die *-Regeln.
  • Die längste passende Regel gewinnt; bei gleicher Länge gewinnt Allow.
  • Eine 4xx-Antwort bedeutet keine Einschränkungen; 5xx oder 429 stoppt das Crawling durch Google.
  • robots.txt sperrt das Crawling, nicht die Indexierung.
  • Ein Test von einem normalen Server imitiert den User-Agent eines Crawlers, nicht seine IP-Adresse.

FAQ

Ist der robots.txt-Checker kostenlos?

Ja, ohne Konto. Damit der Server erreichbar bleibt, gibt es ein Limit von 15 Prüfungen pro Verbindung alle 10 Minuten, und Ergebnisse werden 10 Minuten zwischengespeichert; „Erneut prüfen“ ruft eine frische Kopie ab.

Warum funktioniert meine Regel hier, aber nicht in der Search Console?

Meist ist es eine Frage der Zeit. Google nutzt womöglich noch eine bis zu 24 Stunden alte Kopie der robots.txt. Der robots.txt-Bericht in der Search Console zeigt, welche Version Google hat, und lässt dich nach einer dringenden Änderung einen erneuten Abruf anfordern.

Unterstützt Google crawl-delay?

Nein. Google ignoriert crawl-delay; Bingbot und einige andere Crawler lesen es. Um Googlebot kurzfristig zu bremsen, dokumentiert Google Antworten mit 500, 503 oder 429.

Unterscheiden robots.txt-Pfade Groß- und Kleinschreibung?

Ja. Pfade in Allow- und Disallow-Regeln unterscheiden Groß- und Kleinschreibung, /Privat/ passt also nicht auf /privat/. Feld- und Crawlernamen nicht.

Wo muss die robots.txt liegen?

Im Stammverzeichnis jedes Hosts, zum Beispiel https://example.com/robots.txt. Sie gilt nur für dieses Protokoll, diesen Host und diesen Port, daher lesen www.example.com und http://example.com jeweils ihre eigene Datei. Der Checker testet beide Varianten und zeigt, ob sie weiterleiten oder eine eigene Datei ausliefern.

Wie es weitergeht

Dieses Tool gehört zum Tool-Bereich von Doctor SEO, neben dem XML-Sitemap-Checker. Wie Crawling, robots.txt und Indexierung zusammenspielen, behandelt das Level zu technischem SEO im kostenlosen SEO-Kurs.

Quellen