Technischer Webseiten-Check: So prüfst du deine Website für KI-Crawler

Deine Website rankt bei Google solide, aber wenn du ChatGPT nach deinem Thema fragst, taucht dein Unternehmen nicht auf. Das kann viele Gründe haben; einer davon ist die Technik. KI-Systeme müssen deine Seiten erreichen, lesen und einordnen können, bevor sie Inhalte als Quelle nutzen. Dieser Artikel zeigt, welche technischen Punkte du prüfen solltest und wie du dabei vorgehst.
Teil des Leitfadens: AI Visibility – KI-Sichtbarkeit verstehen und verbessern →
Das Wichtigste in Kürze
- Bevor KI-Systeme Inhalte als Quelle nutzen, müssen sie die Seiten erreichen, lesen und einordnen können.
- Die wichtigsten Prüfpunkte: Crawler-Zugang in der robots.txt, Inhalte im HTML ohne JavaScript-Zwang, strukturierte Daten, klare Überschriften, Ladezeit und interne Links.
- Viele Punkte lassen sich mit kostenlosen Werkzeugen wie dem Rich Results Test von Google prüfen.
- Technik ist eine Voraussetzung, keine Garantie: Ohne gute Inhalte und regelmäßige Präsenz bleibt die Wirkung begrenzt.
- Nach größeren Änderungen an der Website lohnt sich eine erneute Prüfung.
Warum die Technik für KI-Sichtbarkeit zählt
KI-Sichtbarkeit beschreibt, wie oft und wie korrekt KI-Systeme wie ChatGPT, Perplexity oder Google AI Overviews ein Unternehmen nennen. Damit eine Website als Quelle in Frage kommt, muss sie technisch zugänglich sein: Crawler müssen sie aufrufen dürfen, die Inhalte müssen im HTML stehen, und Struktur und Auszeichnung müssen erkennen lassen, worum es geht. Die inhaltliche Seite erklärt der Leitfaden zu AI Visibility.
Checkliste: Website für KI-Crawler prüfen
- Crawler-Zugang: Prüfe in der robots.txt, ob KI-Crawler wie GPTBot (OpenAI), PerplexityBot oder Google-Extended nicht versehentlich gesperrt sind, und ob die Sitemap dort eingetragen ist.
- Lesbares HTML: Öffne eine Seite mit deaktiviertem JavaScript oder schau in den Seitenquelltext. Stehen Überschriften und Text im HTML, oder erscheinen sie erst nach dem Laden von Skripten?
- Strukturierte Daten: Prüfe mit dem Rich Results Test von Google oder dem Schema Markup Validator, ob Organization, Article und FAQPage korrekt ausgezeichnet sind und zum sichtbaren Inhalt passen.
- Überschriften: Jede Seite hat genau eine H1, darunter eine logische Folge von H2 und H3, die den Inhalt gliedert.
- Meta-Angaben: Seitentitel und Beschreibung fassen den Inhalt der Seite treffend zusammen; die kanonische URL ist gesetzt.
- Ladezeit: Prüfe mit PageSpeed Insights, ob Seiten schnell laden; sehr langsame Seiten erschweren das Crawlen.
- Interne Links: Wichtige Seiten sind von anderen Seiten aus verlinkt, damit Crawler und Menschen Themenzusammenhänge erkennen.
Manuell prüfen oder mit Werkzeugen?
Für eine kleine Website reicht es, die Liste einmal für die wichtigsten Seiten durchzugehen: Startseite, Leistungsseiten, die meistgelesenen Artikel. Bei vielen Seiten helfen Crawler-Werkzeuge, die Überschriften, Meta-Angaben und Links automatisch auslesen.
| Kriterium | Manuelle Prüfung | Mit Werkzeugen |
|---|---|---|
| Aufwand | hoch bei vielen Seiten | gering nach der Einrichtung |
| Häufigkeit | meist einmalig | regelmäßig wiederholbar |
| Stärke | Blick für Inhalt und Kontext | vollständige Abdeckung aller Seiten |
Regelmäßig statt einmalig prüfen
Websites verändern sich: neue Seiten, neue Plugins, ein Relaunch. Dabei können sich unbemerkt Fehler einschleichen, etwa eine gesperrte robots.txt oder fehlende strukturierte Daten. Prüfe deshalb nach größeren Änderungen und in festen Abständen erneut.
Was du zusätzlich tun kannst
- Neue Inhalte von Anfang an klar strukturieren, statt sie nachträglich zu korrigieren.
- Gefundene Fehler zeitnah beheben, statt sie zu sammeln.
- Inhalte so aufbauen, dass Fragen und Antworten auch als FAQ ausgezeichnet werden können.
- Prüfen, ob die Inhalte nicht nur technisch erreichbar, sondern auch inhaltlich gut beantwortet sind.
Wie du deine Inhalte für ChatGPT aufbereitest, beschreibt der Artikel zur ChatGPT-Optimierung deiner Website. Ob sich deine Sichtbarkeit verändert, prüfst du mit dem Ratgeber KI-Sichtbarkeit messen.
Fazit
Die technische Seite der KI-Sichtbarkeit ist überschaubar: Zugang für Crawler, lesbares HTML, korrekte strukturierte Daten, klare Überschriften, gute Ladezeit und sinnvolle interne Links. Mit der Checkliste prüfst du die wichtigsten Seiten in kurzer Zeit. Danach entscheidet vor allem der Inhalt, ob dein Unternehmen in KI-Antworten vorkommt.
Häufig gestellte Fragen
Rufe deine robots.txt auf (deine-domain.de/robots.txt) und prüfe, ob dort KI-Crawler wie GPTBot, PerplexityBot oder Google-Extended gesperrt sind. Eine Zeile „Disallow: /“ unter einem dieser Namen sperrt den jeweiligen Crawler aus.
Vieles überschneidet sich: Gute Struktur, saubere Technik und fundierte Inhalte helfen beiden. KI-Systeme fassen Inhalte aber zu Antworten zusammen; deshalb sind klare Definitionen, lesbares HTML und passende strukturierte Daten besonders wichtig.
Nach jeder größeren Änderung an der Website, etwa einem Relaunch oder neuen Plugins, und zusätzlich in festen Abständen, zum Beispiel einmal im Quartal.
Kostenlos nutzbar sind unter anderem der Rich Results Test von Google, der Schema Markup Validator und PageSpeed Insights. Für größere Websites helfen Crawler-Werkzeuge, die Überschriften, Meta-Angaben und Links aller Seiten auslesen.
