Was ist llms.txt?
llms.txt ist eine einfache Textdatei im Markdown-Format die im Stammverzeichnis einer Website liegt – erreichbar unter yourdomain.com/llms.txt. Sie enthält strukturierte Informationen über die Website, die speziell für Large Language Models (LLMs) wie ChatGPT, Claude und Perplexity aufbereitet sind.
Der Gedanke dahinter ist simpel: Wenn ein KI-System eine Website crawlt oder ein KI-Agent sie aufruft, könnte ein kompakter gut strukturierter Überblick dabei helfen den Kontext der Seite schneller zu erfassen. Ob und wie stark dieser Effekt in der Praxis eintritt, ist bislang nicht offiziell belegt.
Kurz gesagt: llms.txt ist eine freiwillige, maschinenlesbare Beschreibung deiner Website – geschrieben in einem Format das KI-Systeme gut verarbeiten können. Der Standard ist noch jung und die Wirkung nicht abschließend nachgewiesen.
Woher kommt der Standard?
Die llms.txt-Spezifikation wurde am 3. September 2024 von Jeremy Howard vorgeschlagen – dem Mitgründer von fast.ai. Die Seite auf llmstxt.org nennt es ausdrücklich ein „Proposal".
Der Standard ist bewusst einfach gehalten: Keine komplexe Syntax, kein neues Dateiformat, kein besonderer Parser nötig. Einfaches Markdown das jeder lesen und schreiben kann.
Wichtig zu wissen: llms.txt ist kein offizieller W3C-Standard und kein RFC. Es ist ein Community-Vorschlag ohne verbindliche Unterstützung durch die großen KI-Plattformen.
Aktueller Stand 2026
Seit dem Erscheinen des Standards hat sich einiges getan – vor allem auf Seiten der Verbreitung, weniger auf Seiten der nachgewiesenen Wirkung.
Google lehnt llms.txt ab
Google hat sich mehrfach klar positioniert. Im Juni 2025 schrieb John Mueller (Search Relations Lead bei Google) auf Bluesky: „FWIW no AI system currently uses llms.txt“. Gary Illyes (Search Advocate bei Google) sagte im Juli 2025, Google unterstütze llms.txt nicht und plane das auch nicht.
Im Mai 2026 veröffentlichte Google einen Leitfaden zur Optimierung für generative KI in der Google-Suche. Im Abschnitt „Mythbusting“ steht zu llms.txt: „You don't need to create new machine readable files, AI text files, markup, or Markdown to appear in Google Search.“ Das gilt für die Google-Suche, nicht für andere KI-Dienste.
Chrome Lighthouse enthält ein llms.txt-Audit
Ein anderes Signal kommt aus der Chrome-Entwicklung: Lighthouse hat seit Version 13.3 (Mai 2026) die neue, experimentelle Kategorie „Agentic Browsing". Ein Audit darin prüft laut Chrome-Dokumentation, ob am Domain-Root eine maschinenlesbare Zusammenfassung vorhanden ist.
Ein experimenteller Prüfpunkt ist kein Beweis für die Wirkung der Datei, zeigt aber Interesse im Chrome-Ökosystem.
Studien: kein messbarer Effekt auf KI-Zitierungen
Mehrere Untersuchungen finden keinen belegbaren Effekt:
- SE Ranking (November 2025) analysierte rund 300.000 Domains. llms.txt lag auf 10,13 % der Domains. Ein Zusammenhang mit der Zitierhäufigkeit in KI-Antworten ließ sich nicht nachweisen. GPTBot ruft die Datei selten ab, ohne erkennbaren Zusammenhang mit Zitierungen.
- Peec AI (berichtet von Search Engine Land, Januar 2026) fand bei fast 18.000 Zitierungen nur 6 (0,03 %), die auf llms.txt-Dateien verwiesen.
- Common Crawl (Auswertung des Juli-2026-Crawls, veröffentlicht August 2026) analysierte 584.107 Dateien. Das Ergebnis: 68,27 % sind aus Vorlagen erzeugt, nur 49,90 % folgen der vollständigen Spezifikation, und 22,56 % enthalten gar keine Links.
Fazit zum aktuellen Stand: Die Dateien entstehen in großer Zahl – vor allem durch CMS-Automatisierung. Dass KI-Systeme sie systematisch auswerten, ist nicht belegt. Die Kernbotschaft bleibt: Die Datei ist leicht umzusetzen, ihre Wirkung ist nicht nachgewiesen.
llms.txt vs. robots.txt – der Unterschied
| Merkmal | robots.txt | llms.txt |
|---|---|---|
| Zweck | Sagt Crawlern was sie NICHT crawlen dürfen | Beschreibt KI was die Website IST |
| Format | Eigenes Schlüsselwort-Format | Markdown |
| Zielgruppe | Alle Web-Crawler | Speziell LLMs und KI-Agenten |
| Inhalt | Regeln und Verbote | Beschreibungen und Links |
| Standard | Offizieller RFC-Standard (RFC 9309) | Community-Vorschlag (September 2024) |
| Verbreitung | Nahezu jede Website | Wachsend, oft automatisch erzeugt |
| Nachgewiesene Wirkung | Ja | Noch nicht belegt |
Beide Dateien schließen sich nicht aus. robots.txt steuert den Zugriff und ist keine Zugriffskontrolle für llms.txt – wer KI-Crawler blockieren möchte, muss das weiterhin in robots.txt regeln.
Wer liest llms.txt?
Das ist die entscheidende Frage – und die Antwort ist ernüchternd. Keiner der großen KI-Anbieter hat offiziell bestätigt, dass llms.txt als Signal für Antwortgenerierung oder Ranking genutzt wird.
- Anthropic / Claude – Die Anthropic-Entwicklerdokumentation hat eine eigene llms.txt (platform.claude.com/llms.txt). Dokumentierten Support für das Auswerten fremder llms.txt-Dateien gibt es nicht.
- Perplexity AI – kein offiziell bestätigter Support
- OpenAI / ChatGPT – kein offiziell bestätigter Support; GPTBot ruft llms.txt-Dateien selten ab, ohne erkennbaren Zusammenhang mit Zitierungen (SE Ranking, November 2025)
- Google – hat llms.txt explizit abgelehnt: John Mueller (Juni 2025), Gary Illyes (Juli 2025), Googles KI-Suchoptimierungs-Guide (Mai 2026)
- KI-Agenten – Chrome Lighthouse enthält in der experimentellen Kategorie „Agentic Browsing" einen Prüfpunkt für das Vorhandensein.
CMS- und Plugin-Unterstützung
Immer mehr Content-Management-Systeme und SEO-Plugins erzeugen llms.txt-Dateien automatisch. Das erklärt die schnell wachsende Verbreitung – und ist gleichzeitig ein Hinweis auf die Qualitätsprobleme vieler Dateien.
- Yoast SEO – unterstützt llms.txt seit Juni 2025, kostenlos, standardmäßig automatisch erzeugt und aktualisiert, mit manuellem Modus und Vorschau. Verfügbar für WordPress und Shopify (Yoast SEO for Shopify).
- All in One SEO – erzeugt laut Common Crawl große Mengen an Dateien (rund 73.000 im Juli-2026-Crawl)
- Rank Math – hat eine eigene Dokumentation zu llms.txt (rankmath.com/kb/llms-txt/)
- Wix – größter einzelner Erzeuger: rund 241.000 Dateien (41,34 % aller im Juli-2026-Crawl gefundenen Dateien). Wix-Dateien enthalten häufig einen MCP-API-Endpunkt.
Wichtig: Automatisch erzeugte Dateien solltest du immer prüfen. Common Crawl fand viele Dateien ohne Zusammenfassung, ohne Linkbeschreibungen und mit nicht ausgefüllten Platzhaltern. Eine schlechte llms.txt ist kein Vorteil gegenüber gar keiner.
Aufbau und Syntax
Eine llms.txt-Datei ist reines Markdown. Laut Spezifikation (llmstxt.org) gibt es eine klare Struktur:
- H1 (Pflicht): Name des Projekts oder der Website – das ist das einzige verpflichtende Element.
- Blockquote (optional): Eine kurze Zusammenfassung direkt unter der H1.
- Absätze ohne Überschriften (optional): Ausführlichere Informationen zum Kontext.
- H2-Abschnitte mit Linklisten (optional): Das Herzstück der Spezifikation. Jeder Eintrag ist ein Markdown-Link im Format
[Name](URL), optional gefolgt von Doppelpunkt und einer kurzen Notiz. - „Optional"-Abschnitt (optional): Ein H2 mit dem Titel „Optional" enthält sekundäre Links, die Agenten bei knappem Kontext überspringen können.
Die Datei liegt unter /llms.txt im Wurzelverzeichnis oder in einem Unterpfad (z. B. /docs/llms.txt). Gibt es mehrere passende Dateien, gilt die spezifischste.
Was die Spezifikation nicht vorsieht
In der Literatur und in vielen Beispielen finden sich Abschnitte wie „Über uns", „Zielgruppe", „Kontakt", „Sprache" oder „Letztes Update". Das entspricht nicht der Spezifikation – diese sieht keine frei benannten Abschnitte ohne Linklisten vor. Solche Felder schaden nicht, aber wer spezifikationskonform bleiben möchte, hält sich an H1, Blockquote, optional Fließtext und dann H2-Linklisten.
Fertige Beispiele für verschiedene Website-Typen
Beispiel: SaaS-Tool / Web-Applikation
Beispiel: Lokales Unternehmen
Beispiel: Blog / Content-Website
Wann lohnt es sich?
Nicht für jede Website ist llms.txt gleich sinnvoll. Ein Nutzen ist nirgends belegt, am ehesten passt sie zu Seiten mit vielen Unterseiten.
Gut geeignet
- Entwicklerdokumentation und Wissensdatenbanken – strukturierte Übersichten über viele Unterseiten helfen Agenten zu navigieren. Anthropic nutzt llms.txt genau so.
- Seiten, die gezielt von KI-Agenten genutzt werden sollen – wer eine API, ein MCP-Tool oder ein Produkt für Entwickler anbietet, kann llms.txt als Einstiegspunkt für Agenten nutzen.
- Komplexe Websites mit vielen Unterseiten – wenn die Hauptbereiche nicht sofort aus dem Domainnamen erkennbar sind.
Weniger sinnvoll
- Wenn robots.txt, Schema.org-Markup und schnelle Ladezeiten noch nicht stimmen – diese Grundlagen sollten zuerst stimmen.
- Für einfache Unternehmenswebsites ohne viele Unterseiten – der Aufwand lohnt sich hier am ehesten als optionales Extra.
- Als Ersatz für gute Inhalte – eine llms.txt ändert nichts an der Qualität dessen, was KI-Systeme auf deinen Seiten finden.
Typische Fehler
Common Crawl hat im Juli-2026-Crawl typische Probleme in llms.txt-Dateien gefunden:
- HTML statt Text ausgeliefert – viele Single-Page-Apps antworten auf unbekannte Pfade mit der App-Shell. Das ergibt einen HTTP-200-Status mit HTML-Inhalt statt der Textdatei (Soft-404).
- robots.txt-Inhalt unter dem llms.txt-Pfad – Fehlkonfigurationen im Webserver
- Nicht ausgefüllte Platzhalter – automatisch erzeugte Dateien mit generischen Texten wie „[Insert company name]"
- Linklisten ohne Beschreibungen – reine URL-Dumps ohne Kontext helfen KI-Systemen wenig. Nur 32,94 % der analysierten Dateien beschrieben ihre Links.
- Lenkende oder werbliche Inhalte – Common Crawl fand Dateien mit Versuchen, KI-Antworten gezielt zu beeinflussen. Das schadet dem Vertrauen.
- Veralteter Inhalt – eine llms.txt die nicht zur aktuellen Website passt ist schlimmer als keine.
Schritt-für-Schritt: llms.txt erstellen und deployen
Schritt 1: Datei erstellen
Erstelle eine neue Textdatei mit dem Namen llms.txt. Verwende dabei UTF-8-Kodierung ohne BOM. Schreibe den Inhalt im Markdown-Format nach dem Muster oben – angepasst auf deine Website.
Tipp: Der llmshub.de Generator crawlt deine Website automatisch und befüllt alle Felder – du musst nur noch prüfen und herunterladen.
Schritt 2: In das Stammverzeichnis legen
Die Datei muss unter der Haupt-URL der Domain erreichbar sein: https://deinedomain.de/llms.txt. Bei den meisten Webservern bedeutet das: Datei ins Root-Verzeichnis des Webservers legen – dasselbe Verzeichnis wo auch index.html liegt.
Schritt 3: Content-Type und Status prüfen
Der Webserver sollte die Datei als text/plain ausliefern und mit HTTP 200 antworten. Das ist bei .txt-Dateien normalerweise automatisch der Fall. Zur Sicherheit testen:
Antwortet der Server mit HTTP 200 aber liefert HTML aus (typisch bei Single-Page-Apps), liegt ein Soft-404 vor. In diesem Fall muss der Server so konfiguriert werden, dass er die Datei korrekt ausliefert.
Schritt 4: In robots.txt verlinken (optional)
Man kann einen Kommentar am Ende der robots.txt ergänzen – das ist kein offiziell unterstütztes Format aber schadet nicht:
Hinweis: Eine standardisierte Direktive für llms.txt in robots.txt existiert nicht. Wichtiger ist, dass die Datei unter der korrekten URL erreichbar ist.
llms-full.txt – eine verbreitete Konvention
In der Praxis findet man häufig auch eine Datei namens llms-full.txt. Diese enthält den vollständigen Inhalt der wichtigsten Seiten in einer für LLMs optimierten Form – als eine einzige lesbare Datei.
Wichtig: llms-full.txt ist kein Teil der offiziellen Spezifikation, sondern eine Konvention die sich in der Praxis verbreitet hat. Die Anthropic-Entwicklerdokumentation nutzt sie zum Beispiel (platform.claude.com/llms-full.txt). Für die meisten normalen Websites ist sie ein Nice-to-have, keine Pflicht.
Checkliste
- llms.txt im Stammverzeichnis der Domain angelegt
- Datei unter yourdomain.de/llms.txt erreichbar (HTTP 200, nicht Soft-404)
- Content-Type ist text/plain, nicht text/html
- Pflicht: H1 mit dem Namen der Website
- Empfohlen: Blockquote mit kurzer Zusammenfassung
- Empfohlen: H2-Abschnitte mit Linklisten und Beschreibungen
- UTF-8 ohne BOM gespeichert
- Keine sensiblen oder internen Informationen enthalten
- Keine lenkenden oder werblichen Inhalte
- Bei automatisch erzeugten Dateien den Inhalt geprüft – keine Platzhalter
- Inhalt regelmäßig aktuell halten
llms.txt jetzt erstellen
Mit dem kostenlosen llmshub.de Generator erstellst du deine llms.txt in Sekunden – automatisch oder manuell.
Zum Generator →