Kurz gesagt: Wer regelmäßig technische SEO-Audits für Websites mit mehr als ein paar hundert URLs macht, kommt mit der Gratisversion des Screaming Frog SEO Spider nicht weit und sollte die Lizenz kaufen. Sie lohnt sich vor allem, weil du damit Crawls speichern, planen und vergleichen kannst. Das einzelne Audit ist dabei fast Nebensache. Die Gratisversion endet bei 500 URLs pro Crawl und sperrt Konfiguration, Speichern und JavaScript-Rendering.
Das Programm selbst ist ein Desktop-Crawler der britischen Agentur Screaming Frog Ltd. Es läuft auf deinem Windows-, Mac- oder Linux-Rechner und hangelt sich wie ein Suchmaschinen-Bot von Link zu Link. Zu jeder URL hält es Statuscode, Weiterleitung, Title, Canonical Tag, Robots-Direktiven, hreflang und vieles mehr fest. Typische Einsätze sind das technische Audit, der Website-Relaunch und die Kontrolle nach einem Deployment.
Preis, geprüft am 10. Oktober 2026: Laut Preisseite kostet eine Lizenz pro Jahr £199, $279 oder €245, je nach gewählter Währung. Ab 5 Lizenzen sinkt der Stückpreis auf £189, ab 10 auf £179 und ab 20 auf £169. Lizenziert wird pro Person: Zwei Nutzer brauchen zwei Lizenzen. Für Firmen in der EU erklärt die FAQ, dass sie beim Kauf ihre USt-IdNr. angeben können. Ohne Steuernummer wird die Steuer auf die Bestellung aufgeschlagen. Die aktuelle Version ist 24.3 vom 29. Juni 2026.
Installation und Lizenz in sieben Schritten
Ein Konto brauchst du nur für den Lizenzkauf; die Gratisversion lädst du ohne Registrierung herunter.
- Hardware prüfen. Das allgemeine Handbuch verlangt mindestens ein 64-Bit-System mit 4 GB freiem RAM. Für unter 200.000 URLs reichen laut Hersteller meist 8 GB. Ab 1 Million URLs empfiehlt er eine SSD und 16 GB oder mehr.
- Paket wählen auf der Produktseite. Stand 10. Oktober 2026 gibt es Windows, macOS für Apple Silicon und Intel sowie Ubuntu und Fedora, jeweils als amd64/x86_64 und arm64/aarch64.
- Installieren. Unter Windows startest du
ScreamingFrogSEOSpider-VERSION.exeund klickst dich mit den Standardwerten durch. Für Rollouts auf vielen Rechnern ist eine stille Installation mit/VERYSILENTdokumentiert. - Lizenz aktivieren über
Licence > Enter Licence Key. Klappt es nicht, liegt es laut FAQ meist am Benutzernamen, denn der Lizenz-Benutzername ist nicht immer derselbe wie der deines Kontos. - Datenbankmodus einschalten unter
File > Settings > Storage Mode(Mac:Screaming Frog SEO Spider > Settings > Storage Mode). Das lohnt sich, sobald eine SSD verbaut ist. - RAM zuteilen unter
File > Settings > Memory Allocation, danach neu starten. Kontrollieren kannst du das unterHelp > Debug: Der WertMax=in der Zeile Memory zeigt, was tatsächlich zugewiesen ist. - Profil sichern mit
Configuration > Profiles > Save Current Configuration As Default. Pro Kunde legst du überSave Asein eigenes Profil an.
Wo die Gratisversion aufhört
Die Vergleichstabelle auf der Preisseite führt in der Gratisspalte 7 enthaltene Funktionen und 24, die nur mit Lizenz verfügbar sind, plus das Limit von 500 URLs. Auf der Produktseite fasst Screaming Frog zusammen, dass in der Gratisversion „the crawl configuration, saving of crawls, and advanced features such as JavaScript rendering, custom extraction, and API integrations“ eingeschränkt sind.
| Bereich | Gratis | Nur mit Lizenz |
|---|---|---|
| Grundprüfung | Defekte Links, Fehler, Weiterleitungen, Titles, Meta-Daten, Direktiven, hreflang, exakte Duplikate | Near Duplicates, Rechtschreibung und Grammatik, Barrierefreiheit, strukturierte Daten |
| Steuerung | Keine Konfiguration, maximal 500 URLs | Konfiguration, eigene robots.txt, Formular-Login, Segmentierung |
| Ablage und Wiederholung | Nichts speicherbar | Speichern und Öffnen, Zeitplanung, Crawl-Vergleich, Looker-Studio-Bericht |
| Daten von außen | Keine | GA4, Search Console, PageSpeed Insights, Linkmetriken, OpenAI und Gemini |
| Inhalte auslesen | Nur Standardfelder | JavaScript-Rendering, Custom Extraction, Quellcode-Suche, Custom JavaScript |
| Sonstiges | XML-Sitemaps, Visualisierungen | Technischer Support |
Diese Einstellungen entscheiden über das Ergebnis
Alle Menüpfade stammen aus dem Konfigurationshandbuch, geprüft am 10. Oktober 2026. Wo das Handbuch keinen Standardwert nennt, steht das so in der Tabelle.
| Einstellung und Pfad | Ausgangswert | Wofür du sie anfasst |
|---|---|---|
Rendering, Configuration > Spider > Rendering |
Text Only, also nur das vom Server gelieferte HTML | Für Shops und Single-Page-Apps, die Inhalte im Browser nachladen. Der Modus JavaScript rendert in einem Headless Chrome auf Chromium-Basis. |
| AJAX Timeout, Rendering > JavaScript | Im Konfigurationshandbuch ohne Wert; laut JavaScript-Tutorial „is set to 5 seconds“ | Wenn Screenshots halb geladen aussehen. Das Handbuch nennt 5 Sekunden „a reasonable rule of thumb“, keine feste Grenze. |
Robots.txt, Configuration > Robots.txt |
Respect robots.txt | Für gesperrte Staging-Server: „Ignore robots.txt but report status“ crawlt trotzdem und zeigt, was gesperrt wäre. |
User-Agent, Configuration > User-Agent |
Eigene Kennung von Screaming Frog | Um zu sehen, was Googlebot oder ein Smartphone bekommt. Request-User-Agent und robots.txt-User-Agent stellst du getrennt ein. |
Speed, Configuration > Speed |
5 Threads | Zum Bremsen per „Max URI/s“, wenn die Antwortzeiten steigen. |
Include und Exclude, Configuration > Include / Exclude |
Keine Regeln | Für einzelne Verzeichnisse oder gegen Facetten und Parameter-URLs. Beide nutzen Regex-Teiltreffer; Ausgeschlossenes wird gar nicht gecrawlt. |
Limit Crawl Total, Configuration > Spider > Limits |
500 ohne, 5 Millionen mit Lizenz | Für Stichproben oder sehr große Seiten. |
| Limit Crawl Depth, gleicher Tab | Im Handbuch nicht angegeben | Für Stichproben nach Klicktiefe. |
Store HTML / Store rendered HTML, Configuration > Spider > Extraction |
Im Handbuch nicht angegeben | Für Diffs zwischen Roh- und gerendertem HTML, Inhaltsvergleiche und KI-Prompts auf Seitentext. |
Response Timeout, Spider > Advanced |
20 Sekunden | Für sehr langsame Server. |
Ein Detail, das kaum jemand erwähnt: Das „Unlimited*“ auf der Preisseite trägt einen Stern, und das hat einen Grund. Mit Lizenz ersetzt der Spider das 500er-Limit in Limit Crawl Total laut Konfigurationshandbuch durch 5 Millionen URLs. Das Speicher-Kapitel stellt klar, dass das ein Standardwert ist, den du anheben kannst. Endet ein Crawl bei genau 5.000.000 URLs, hat ihn diese Einstellung beendet und nicht die Website.
Bei der Crawl-Geschwindigkeit gibt es keine allgemeingültige Zahl, und der Hersteller veröffentlicht auch keine. Er schreibt, die 5 Threads seien Standard, um Server nicht zu überlasten. Mehr Threads könnten die Antwortzeiten verschlechtern und im Extremfall einen Server abstürzen lassen. Seine Empfehlung: Rate und Uhrzeit vorher mit dem Betreiber abstimmen und die Antwortzeiten während des Crawls beobachten.
Fenstergrößen, Preferences und die meisten erweiterten Optionen lässt du zunächst in Ruhe. Eine Ausnahme ist „Auto Analyse At End of Crawl“ unter Configuration > Crawl Analysis. Ohne diese Nachanalyse bleiben unter anderem die Filter für verwaiste Seiten und Sitemaps leer.
Die Crawls, die sich lohnen
Bevor es um einzelne Crawls geht, eine Prüfliste für jeden Start. Sie spart dir den Crawl, den du hinterher wiederholen musst.
- Datenbankmodus aktiv und Speicher unter
Help > Debugbestätigt? - Rendering-Modus bewusst gewählt? Im Zweifel einmal pro Modus crawlen.
- robots.txt-Verhalten und User-Agent so gewollt und im Crawl-Namen notiert?
- Geschwindigkeit mit dem Betreiber abgesprochen, Antwortzeiten im Blick?
- HTML und gerendertes HTML gespeichert, falls du später Inhalte vergleichst?
- GSC und GA4 verbunden, wenn Traffic die Prioritäten bestimmt?
- Benanntes Projekt unter
File > Crawls, damit du den Crawl in drei Monaten wiederfindest?
Alle vier folgenden Crawls setzen Lizenz und Datenbankmodus voraus. Das Vergleichs-Tutorial nennt beides als Bedingung für jeden Crawl-Vergleich.
Der Crawl, der jede Woche von allein läuft
Unter File > Scheduling richtest du eine Aufgabe ein: Projekt, Intervall, gespeicherte Konfiguration, APIs. Seit Version 24.0 vom 19. Mai 2026 gibt es dort „Auto Compare Crawls“. Die Funktion stellt die letzten beiden Crawls eines Projekts gegenüber und kann die veränderten Issues per Mail melden. Manuell vergleichst du über Mode > Compare. Unter Config > Compare schaltest du die Änderungserkennung zu, die auch Änderungen ohne Filtertreffer zeigt, etwa einen neu geschriebenen Title mit unauffälliger Länge.
Entscheidung: Steht eine URL mit Traffic plötzlich unter „Missing“, klärst du das noch in derselben Woche. Rutscht eine wichtige Seite in der Klicktiefe nach unten, bekommt sie ihre interne Verlinkung zurück. Unbestellte Änderungen an Titles oder Textlänge gehen an das Team zurück, das sie live gestellt hat.
Rohes HTML gegen gerendertes HTML
Bei einer unbekannten Seite willst du früh wissen, wie viel an JavaScript hängt. Dafür crawlst du zweimal, einmal mit Text Only und einmal mit JavaScript-Rendering, und speicherst beide HTML-Fassungen. Das JavaScript-Tutorial beschreibt im JavaScript-Tab 15 Filter. Am meisten sagen „Contains JavaScript Links“, „Noindex Only in Original HTML“ und „Canonical Mismatch“. Laut Vergleichs-Tutorial eignet sich der Modus Compare ausdrücklich für diesen Abgleich zwischen Roh-HTML und JavaScript-Crawl.
Entscheidung: Entstehen Navigations-, Kategorie- oder Paginierungslinks erst durch JavaScript, gehören sie ins ausgelieferte HTML. Steht ein noindex im Roh-HTML, das erst das Skript entfernt, wird es an der Quelle gelöscht, denn laut Tutorial rendert Googlebot eine Seite mit noindex gar nicht erst. Unterscheiden sich die Canonical Tags beider Fassungen, korrigierst du das Roh-HTML.
Das Relaunch-Paar: Referenz vorher, Liste nachher
Vor dem Relaunch crawlst du die alte Seite vollständig mit gespeichertem HTML. Unter Configuration > API Access hängst du Search Console und GA4 an. Dann trägt jede URL Klicks, Impressionen, CTR und Position der letzten 30 Tage sowie die 7 GA4-Standardmetriken, darunter Sitzungen und Aufrufe.
Entscheidung vor dem Launch: Jede URL mit Klicks oder Sitzungen ohne Eintrag im Redirect-Mapping kommt dort hinein. Nicht indexierbare oder falsch kanonisierte URLs reparierst du jetzt oder lässt sie bewusst zurück.
Nach dem Launch lädst du genau diese URLs im Listenmodus hoch. Laut Redirect-Tutorial crawlt der Listenmodus standardmäßig mit Tiefe 0, also nur die hochgeladenen Adressen. Deshalb setzt du im Advanced-Tab der Spider-Konfiguration den Haken bei Always Follow Redirects. Dann verfolgt der Spider jede Weiterleitung bis zum Ziel, und der Bericht All Redirects im Menü Reports zeigt jede URL mit Start- und Endstatus.
Entscheidung nach dem Launch: Endet eine Weiterleitung nicht mit 200 oder nicht am geplanten Ziel, wird die Regel korrigiert. Ketten mit mehreren Sprüngen kürzt du auf einen. Beide Crawls bleiben gespeichert, als Beleg für den Zustand vor und nach dem Relaunch.
Custom Extraction und KI im Crawl
Über Configuration > Custom > Extraction holst du per XPath, CSS Path oder Regex beliebige Werte aus jeder Seite, etwa Autor, Preis, ein Schema-Feld oder mit count(//h1) die Zahl der H1. Standardmäßig wird das statische HTML interner 2XX-Seiten ausgewertet. Was erst im Browser entsteht, erreichst du nur mit JavaScript-Rendering.
Unter Configuration > API Access > AI verbindest du OpenAI, Gemini, Ollama oder Anthropic. Pro Anbieter sind laut Handbuch bis zu 100 Prompts auf Crawl-Daten möglich, die Antworten landen in einem AI-Tab. Soll Seitentext oder HTML in den Prompt, muss Store HTML aktiv sein. Den API-Schlüssel und die Kosten trägst du selbst. Bei OpenAI betont das Handbuch, dass ein API-Konto nicht dasselbe ist wie ein ChatGPT-Abo.
Mit Version 24.0 kam ein MCP-Server dazu, über den Assistenten wie Claude Crawls starten und auswerten. Der Release-Post räumt ein, dass noch nicht jede Funktion unterstützt wird. Die Einrichtung behandelt Lektion 106 in Level 8 des Kurses zum Screaming-Frog-MCP, die bald erscheint.
Grenzen: Was Screaming Frog nicht weiß
Was Screaming Frog meldet, gilt für das, was sein Crawler von deinem Rechner aus, mit deiner Konfiguration und zu diesem Zeitpunkt erreicht hat. Über Googles Index und über echte Nutzer sagt das allein nichts. Jede Grenze unten stammt aus der Dokumentation des Herstellers.
| Frage | Was der Crawl dazu liefert |
|---|---|
| Ist die URL indexiert? | Nur über die URL-Inspection-API der Search Console, laut Handbuch für bis zu 2.000 URLs pro Property und Tag. |
| Wie viele Besuche? | Nur über die APIs von GA4 und Search Console. |
| Wie schnell für echte Nutzer? | Felddaten aus dem Chrome UX Report nur mit PageSpeed Insights im Modus „remote“, nicht mit lokalem Lighthouse. Die API erlaubt 25.000 Abfragen pro Tag; für 10.000 URLs rechnet das Handbuch mit gut 4,5 Stunden. Wie stark diese Werte ins Ranking eingehen, ist umstritten und wird hier nicht entschieden. |
| Wie viel passt hinein? | Start mit 2 GB. Im Memory-Modus „typically“ 10.000 bis 100.000 URLs, im Datenbankmodus mit SSD und 4 GB rund 2 Millionen. Von klassischen Festplatten im Datenbankmodus rät der Hersteller ab. |
| Rendert er wie Google? | Nur annähernd: Screenshots bis 8.192 px Höhe gegenüber 12.140 px bei Google, aufgenommen beim eingestellten AJAX Timeout. |
| Läuft er ohne deinen Rechner? | Nein. Jeder geplante Crawl startet eine neue Programminstanz auf dem eingerichteten Rechner; überlappende Termine laufen parallel. Zum Umzug exportierst du eine .task-Datei und meldest die APIs neu an. |
| Bleiben Vergleiche erhalten? | Nur solange beide Crawls gespeichert sind; ist einer gelöscht, ist der Vergleich nicht mehr abrufbar. |
Ein konkreter Mangel der Herstellerdokumentation: Zwei Seitenpaare widersprechen sich, und keine der vier Seiten zeigt im sichtbaren Text ein Datum. Die Änderungsdaten stehen nur in den Metadaten: allgemeines Handbuch 1. Februar 2024, Vergleichs-Tutorial 31. Januar 2024, Konfigurationshandbuch 22. Mai 2026, JavaScript-Tutorial 29. Juli 2026. Das allgemeine Handbuch nennt den Datenbankmodus „the default mode“, das Vergleichs-Tutorial spricht von „default memory storage“. Das Konfigurationshandbuch führt den User-Agent unter Configuration > User-Agent, das JavaScript-Tutorial unter Configuration > HTTP Header > User-Agent. Maßgeblich ist, was deine installierte Version anzeigt.
Alternativen und Ergänzungen
Als Ersatz kommt am ehesten Sitebulb in Frage, ebenfalls ein Desktop-Crawler, der in dieser Reihe später eine eigene Seite bekommt. Die Site-Audit-Module der großen SEO-Suiten crawlen dagegen aus der Cloud des Anbieters und werden ebenfalls einzeln vorgestellt.
Wichtiger als jeder Ersatz sind die Ergänzungen von Google, weil sie zeigen, was kein Crawler sieht. In der Google Search Console siehst du, was Google indexiert hat und über welche Suchanfragen eine URL erscheint. Google Analytics 4 zeigt, was Besucher danach tun. Beide im Crawl angebunden machen aus einer URL-Liste eine Prioritätenliste. Die übrigen Werkzeuge findest du in der Übersicht der SEO-Werkzeuge.
Wo der Kurs tiefer geht
Das Werkzeug steht hier, die Methode im Kurs. Das Level Technisches SEO erklärt, warum Klicktiefe zählt, wie Canonical Tags und Weiterleitungen sich in die Quere kommen und was ein Relaunch-Plan braucht. Wie sich ein Programm-Crawl von Googles Crawling unterscheidet, zeigen die SEO-Grundlagen. Willst du Crawl-Exporte mit Code weiterverarbeiten, knüpft die Level-8-Lektion zu Claude Code für technisches SEO dort an. In Vorbereitung sind die Crawling-Lektion im technischen Level und Lektion 106 in Level 8 zum Screaming-Frog-MCP.
Quellen
- Screaming Frog, SEO Spider Pricing: Vergleich Gratis- und Bezahlversion, Preise in GBP, USD und EUR, Mengenstaffel, Lizenzen pro Person. Undatiert, geprüft am 10. Oktober 2026.
- Screaming Frog, SEO Spider Tool: Einschränkungen der Gratisversion, £199 pro Jahr, Downloads nach Betriebssystem, Version 24.3. Undatiert, geprüft am 10. Oktober 2026.
- Screaming Frog, SEO Spider General, Handbuch: Installation, Mindestanforderungen, Speichermodi, Arbeitsspeicher, Speichern, Zeitplanung, Export. Undatiert, geprüft am 10. Oktober 2026.
- Screaming Frog, SEO Spider Configuration, Handbuch: Rendering, Limits, robots.txt, User-Agent, Geschwindigkeit, Include/Exclude, Custom Extraction, API- und KI-Anbindungen. Undatiert, geprüft am 10. Oktober 2026.
- Screaming Frog, How To Compare Crawls. Undatiert, geprüft am 10. Oktober 2026.
- Screaming Frog, How To Audit Redirects In A Site Migration. Undatiert, geprüft am 10. Oktober 2026.
- Screaming Frog, How To Crawl JavaScript Websites. Undatiert, geprüft am 10. Oktober 2026.
- Dan Sharp, Screaming Frog, SEO Spider Update – Version 24.0, 19. Mai 2026, mit Hinweisen zu 24.1 (8. Juni), 24.2 (22. Juni) und 24.3 (29. Juni 2026). Geprüft am 10. Oktober 2026.
- Screaming Frog, SEO Spider FAQ: Lizenzschlüssel, eine Person pro Lizenz, Umsatzsteuer beim Kauf. Undatiert, geprüft am 10. Oktober 2026.