Token: die Maßeinheit

Sprachmodelle zählen nicht in Wörtern oder Zeichen, sondern in Token. Ein Token ist ein Wortbaustein: häufige kurze Wörter sind ein Token, seltene oder lange Wörter werden in mehrere zerlegt. Für englische Texte gilt als Faustwert, dass ein Token im Mittel etwa drei Viertel eines Wortes entspricht. Deutsche Texte brauchen wegen langer zusammengesetzter Wörter meist mehr Token für dieselbe Aussage. Wie genau ein Text zerlegt wird, hängt vom jeweiligen Modell ab.

Eine Untersuchung von 2023 hat gezeigt, wie groß die Unterschiede sein können: Derselbe Text ergibt übersetzt je nach Sprache bis zu etwa fünfzehnmal so viele Token. Damit unterscheiden sich auch Kosten, Wartezeit und die nutzbare Textmenge je Sprache.

Was das Kontextfenster umfasst

Das Kontextfenster ist die Höchstzahl an Token, die ein Modell bei einer Anfrage verarbeiten kann. Dazu zählt alles zusammen:

  • die festen Anweisungen der Anwendung,
  • der bisherige Gesprächsverlauf, der bei jeder neuen Frage erneut mitgeschickt wird,
  • eingefügte Dokumente, Mails oder Suchergebnisse,
  • bei den meisten Modellen auch die Antwort, die das Modell erzeugt.

Wird die Grenze erreicht, muss die Anwendung etwas weglassen. Viele Chat-Anwendungen kürzen dann stillschweigend den Anfang des Gesprächs. Das erklärt, warum eine KI in einem langen Dialog vergisst, was zu Beginn vereinbart wurde.

Wie groß Kontextfenster sind

Die Größe ist in wenigen Jahren stark gewachsen. GPT-3 verarbeitete 2020 laut seiner Veröffentlichung 2.048 Token, also wenige Seiten Text. 2024 stellte Google mit Gemini 1.5 ein Modell vor, das bis zu einer Million Token verarbeiten kann, in Tests auch mehr. Große Modelle verarbeiten heute je nach Anbieter Hunderttausende bis Millionen Token, kleine Modelle für den eigenen Rechner werden in der Praxis meist mit deutlich weniger betrieben, weil der Speicherbedarf mit der Textlänge steigt.

Stand Oktober 2026 liegen die aktuellen Modelle der großen Anbieter bei rund einer Million Token. Anthropic nennt für seine aktuellen Claude-Modelle 1 Million Token, OpenAI für die GPT-6-Modelle 1,05 Millionen und Google für Gemini 4 Argon 1 Million. Auch kleine offene Modelle geben inzwischen große Fenster an, etwa Gemma 4 mit 128.000 bis 256.000 Token und Qwen3.5 mit 262.144 Token. Auf dem eigenen Rechner wird das selten ausgeschöpft. Die Software Ollama stellt bei weniger als 24 GB Grafikspeicher standardmäßig nur rund 4.000 Token ein.

Die Angabe des Herstellers ist eine Obergrenze, keine Zusage, dass das Modell den gesamten Inhalt gleich gut nutzt.

Verloren in der Mitte

Eine viel zitierte Studie der Stanford University und weiterer Einrichtungen hat 2023 untersucht, wie Sprachmodelle lange Texte tatsächlich nutzen. Das Ergebnis: Sie finden eine Information am zuverlässigsten, wenn sie am Anfang oder am Ende des Textes steht. Liegt sie in der Mitte, sinkt die Trefferquote deutlich, teils unter den Wert, den das Modell ganz ohne den Text erreichte. Die Autoren nannten den Effekt „Lost in the Middle“.

Neuere Modelle sind darin besser geworden, das Grundproblem bleibt aber: Mehr Text im Kontext bedeutet nicht automatisch bessere Antworten. Irrelevante Passagen lenken ab, und je länger der Text, desto eher wird ein entscheidendes Detail übersehen.

Spätere Messungen stützen das. Die RULER-Studie von NVIDIA hat 2024 siebzehn Modelle mit langem Kontextfenster geprüft. Alle gaben mindestens 32.000 Token an, aber nur die Hälfte arbeitete bei dieser Länge noch zufriedenstellend. Anthropic beschreibt dasselbe Muster in seiner Dokumentation als „Context Rot“: Mit wachsender Tokenzahl sinken Genauigkeit und Erinnerung. Was in den Kontext kommt, ist danach so wichtig wie der verfügbare Platz.

Kosten und Geschwindigkeit

Cloud-Anbieter rechnen nach Token ab, für Eingabe und Ausgabe getrennt. Ein Dokument mit hunderttausend Token kostet bei jeder Frage erneut, wenn es jedes Mal komplett mitgeschickt wird. Auch die Wartezeit steigt mit der Textmenge. Manche Anbieter bieten an, gleichbleibende Teile einer Anfrage zwischenzuspeichern, was wiederholte Anfragen günstiger und schneller macht.

Stand Oktober 2026 bieten Anthropic, OpenAI und Google dieses Zwischenspeichern an, bei OpenAI und Google ohne eigenes Zutun. Gelesene Token aus dem Zwischenspeicher kosten bei Anthropic und bei neueren OpenAI-Modellen in der Regel ein Zehntel des normalen Eingabepreises, das Anlegen etwas mehr als eine normale Eingabe. Im Kontextfenster zählen zwischengespeicherte Token trotzdem mit.

Große Textmengen in der Praxis

Für die Arbeit mit vielen oder langen Dokumenten haben sich drei Wege bewährt:

  1. Nur das Passende mitschicken. Statt aller Dokumente sucht die Anwendung zuerst die relevanten Abschnitte heraus und gibt nur diese an das Modell. Dieses Verfahren heißt Retrieval-Augmented Generation und arbeitet oft mit einer Vektordatenbank.
  2. Aufteilen und zusammenfassen. Ein langes Dokument wird in Abschnitte zerlegt, jeder Abschnitt einzeln bearbeitet und die Ergebnisse anschließend zusammengeführt.
  3. Wichtiges an den Rand. Die eigentliche Frage und die entscheidenden Vorgaben stehen am Anfang oder Ende des Textes, nicht irgendwo dazwischen.

Bei langen Gesprächen hilft es, das bisher Vereinbarte regelmäßig zusammenzufassen und als neuen Ausgangspunkt zu verwenden, statt den ganzen Verlauf mitzuschleppen.

Einige Anbieter automatisieren diesen Schritt inzwischen. Anthropic bietet für die Claude-Modelle ab Version 4.6 eine serverseitige Verdichtung an. Sie fasst frühere Teile eines Gesprächs selbsttätig zusammen, damit es über die Grenze des Kontextfensters hinaus weiterlaufen kann. Die Funktion ist als Beta gekennzeichnet.

Fazit

Das Kontextfenster ist der Arbeitsspeicher eines Sprachmodells. Ein großes Fenster ist nützlich, aber kein Ersatz für eine gute Auswahl: Wer der KI genau den Text gibt, den sie für eine Frage braucht, bekommt genauere Antworten, zahlt weniger und wartet kürzer.

Quellen