Tokens & Kontextfenster: Der Arbeitsspeicher der KI

Lektion 7: Tokens & Kontextfenster

Wie KI Text „sieht“

Wenn du einen Satz in einen KI-Chat tippst, siehst du Buchstaben und Wörter. Das Modell sieht etwas anderes: Tokens.

Token, die kleinste Einheit, in die ein Sprachmodell Text aufteilt, bevor es damit arbeitet. Ein Token ist weder ein einzelner Buchstabe noch immer ein ganzes Wort, sondern etwas Dazwischenliegendes. Häufige, kurze Wörter sind meistens je ein Token. Seltene oder lange Wörter werden in mehrere Tokens zerlegt.

Konkrete Beispiele aus dem Deutschen:

• „Hund“ → 1 Token
• „Haustier“ → 1 Token
• „Haustierpflege“ → 2-3 Tokens (z. B. „Haus“, „tier“, „pflege“)
• Ein Leerzeichen gehört häufig zum nachfolgenden Token
• Faustformel: 1.000 Tokens ≈ 750 englische Wörter ≈ etwa 600 deutsche Wörter

Alltagsanalogie: Stell dir vor, ein Drucker zerlegt ein Bild nicht in einzelne Pixel, sondern in Mosaiksteinchen, große für häufige, einfache Formen, kleinere für seltene Details. So funktioniert Tokenisierung (englisch: Tokenization): Der Text wird in handliche Stücke zerteilt, die das Modell effizient verarbeiten kann.

Den Prozess übernimmt der Tokenizer, eine Vorstufe zum eigentlichen Modell, die Text in Zahlen übersetzt. Neuronale Netze arbeiten nämlich ausschließlich mit Zahlen, nie direkt mit Buchstaben.

Warum Tokens für dich praktisch relevant sind

Abrechnung. KI-Dienste rechnen Nutzung meist in Tokens ab, nicht in Wörtern oder Zeichen. Lange Dokumente zur Analyse kosten proportional mehr Tokens.

Limits. Jedes Modell kann nur eine bestimmte Anzahl Tokens auf einmal verarbeiten. Dieses Limit heißt Kontextfenster, und das ist der wichtigste Begriff dieser Lektion.

Das Kontextfenster: Der Arbeitsspeicher der KI

Kontextfenster (englisch: Context Window), die maximale Anzahl Tokens, die ein Modell in einem einzigen Durchlauf „sehen“ und verarbeiten kann. Alles in einem Gespräch fließt in dieses Fenster: dein erster Prompt, jede Antwort der KI, alle Folge-Nachrichten. Wenn das Fenster voll ist, fallen die ältesten Inhalte heraus, das Modell hat keinen Zugriff mehr darauf.

Alltagsanalogie: Stell dir einen Schreibtisch mit begrenzter Fläche vor. Jedes neue Dokument, das du auflegst, schiebt das älteste über den Rand. Du kannst es nicht mehr lesen, weil es buchstäblich weg ist. Genau so funktioniert das Kontextfenster: Was herausgefallen ist, existiert für das Modell nicht mehr.

Wie groß ist das Kontextfenster, und wie hat es sich entwickelt?

Die Entwicklung ist beeindruckend: Noch 2020 stieß man nach wenigen Seiten an die Grenze. Heute passen ganze Bücher in ein einziges Gespräch. Trotzdem gilt: Selbst ein riesiges Kontextfenster hat Grenzen, und selbst innerhalb dieser Grenzen wird nicht alles gleich gut verarbeitet (dazu gleich mehr).

Was passiert, wenn das Fenster voll wird?

Je nach KI-Dienst kann Unterschiedliches passieren:

Abschneiden. Die ältesten Teile des Gesprächs werden stillschweigend weggelassen. Das Modell antwortet, als hätte der Anfang nie stattgefunden.

Automatisches Zusammenfassen. Manche Dienste komprimieren ältere Teile zu einer kurzen Zusammenfassung. Das spart Platz, verliert aber Details.

Fehlermeldung. Bei direkter API-Nutzung (also wenn Entwickler das Modell direkt ansprechen) gibt es einen klaren Fehlerhinweis.

In der Praxis merkst du es oft so: Du hast zu Beginn eines langen Gesprächs vereinbart, immer kurze Antworten zu erhalten, aber nach zwanzig Nachrichten ignoriert die KI das plötzlich. Der Anfang des Gesprächs ist aus dem Fenster gefallen.

Das „Lost in the Middle“-Phänomen

Auch wenn ein Modell ein riesiges Kontextfenster hat, ist nicht alles darin gleich „sichtbar“ für es. Forschungen zeigen: Informationen am Anfang oder Ende des Kontexts werden zuverlässiger verarbeitet als Informationen in der Mitte sehr langer Texte. Dieses Muster nennt die Forschung Lost in the Middle (auf Deutsch: in der Mitte verloren).

Stell dir vor, du sollst dir eine 200 Seiten lange Liste von Fakten merken. Das erste und letzte Kapitel erinnerst du am besten, die Mitte verschwimmt. Ähnliches passiert bei Sprachmodellen.

Praktische Konsequenz: Wenn du ein langes Dokument analysieren lässt, platziere deine wichtigste Frage explizit am Anfang oder Ende deines Prompts, nicht irgendwo in der Mitte eines langen Textes.

Drei direkte Tipps für deinen Alltag

1. Lange Gespräche: Frisch starten. Wenn ein Gespräch sehr lang wird und die KI frühere Vereinbarungen vergisst, hilft ein neues Gespräch mit einer kurzen Zusammenfassung am Anfang. Effizienter als ein endlos langes Gespräch, das sich selbst vergisst.

2. Wichtiges zuerst. Der wichtigste Kontext, wer du bist, was du brauchst, welchen Ton du willst, gehört an den Anfang deines Prompts, nicht ans Ende.

3. Dokument + konkrete Frage. Wenn du ein langes Dokument (Vertrag, Artikel, Bericht) einreichst, kombiniere es immer mit einer präzisen Frage. Ein 50-seitiger Vertrag ohne Frage ergibt eine generische Zusammenfassung. Mit der Frage „Welche Kündigungsfristen gelten für mich?“ bekommst du eine gezielte Antwort.

Praxisaufgabe des Tages (ca. 5-10 min)

Heute erlebst du das Kontextfenster direkt, mit einem Mini-Experiment.

1. Öffne einen KI-Chat deiner Wahl und sende diesen ersten Prompt:

Ich möchte heute ein kleines Experiment machen. Merke dir bitte
folgende Information für dieses Gespräch: Mein Lieblingstier ist
der Oktopus. Bestätige kurz, dass du es dir gemerkt hast.

2. Führe dann 5-8 normale, kurze Anfragen durch, frag nach einem Rezept, lass einen Satz übersetzen, bitte um ein Gedicht. Ganz normale Alltagsanfragen.

3. Frage danach:

Erinnerst du dich noch, welches Lieblingstier ich dir ganz am
Anfang dieses Gesprächs genannt habe?

Woran du merkst, dass du es verstanden hast: Bei einem kurzen Gespräch erinnert sich die KI problemlos, alles ist noch im Kontextfenster. Du kannst nun erklären, was genau passieren würde, wenn das Gespräch sehr viel länger wäre.

Bonusexperiment: Starte ein neues, frisches Gespräch und frage sofort nach deinem Lieblingstier, ohne es vorher erwähnt zu haben. Die KI weiß es nicht.

Überlege: Was ist der Unterschied zwischen „nie im Kontext gewesen“ und „aus dem Kontextfenster gefallen“? Das sind zwei grundverschiedene Phänomene, obwohl das Ergebnis (KI weiß es nicht) gleich aussieht.

(Antwort: „Vergessen“ durch Kontextfenster = Information war da, ist aber herausgefallen. „Nie gewusst“ = war nicht in den Trainingsdaten oder nicht im aktuellen Gespräch. Zwei verschiedene Ursachen, eine Wirkung.)

KI-News zum Lernen

• Aktuelle Modelle knacken die 1-Million-Token-Grenze, Mehrere im Juni 2026 veröffentlichte Topmodelle bieten ein Kontextfenster von bis zu einer Million Tokens. Das entspricht mehreren dicken Romanen in einem einzigen Gespräch. Zum Vergleich: 2020 galten 4.000 Tokens als Standard. Warum interessant: Diese Entwicklung macht es erstmals praktisch möglich, sehr lange Dokumente, ganze Codebases oder Bücher vollständig zu analysieren, ohne das Fenster zu überschreiten. Die Grenze, die du heute kennengelernt hast, verschiebt sich rasant, aber sie bleibt eine Grenze, und das „Lost in the Middle“-Problem bleibt relevant. Quelle

• KI bei Aufmerksamkeitstests: stark bei kurzen, schwächer bei langen Aufgaben, Forscher setzten aktuelle KI-Modelle einem klassischen Aufmerksamkeitstest aus der Psychologie aus (Farben in Listen benennen). Ergebnis: Bei kurzen Listen fehlerfrei, aber die Leistung sank deutlich, je länger und komplexer die Aufgabe wurde. Warum interessant: Das illustriert das „Lost in the Middle“-Phänomen aus der Praxis: Ein großes Kontextfenster bedeutet nicht, dass alles darin gleich zuverlässig verarbeitet wird. Auch ein riesiger Schreibtisch macht es schwerer, Dokumente in der Mitte zu finden. Quelle

Glossar des Tages

• Token, kleinste Verarbeitungseinheit eines Sprachmodells; weder einzelner Buchstabe noch immer ein ganzes Wort, sondern ein Textstück dazwischen
• Tokenisierung (Tokenization), das Aufteilen von Text in Tokens als erster Schritt vor der KI-Verarbeitung
• Tokenizer, die Komponente, die Text in Tokens und diese in Zahlen umwandelt, bevor das neuronale Netz arbeitet
• Kontextfenster (Context Window), maximale Anzahl Tokens, die ein Modell in einem Durchlauf verarbeiten kann; der „Arbeitsspeicher“ der KI für das laufende Gespräch
• Lost in the Middle, Forschungsphänomen: Informationen in der Mitte sehr langer Kontexte werden von Modellen weniger zuverlässig verarbeitet als jene am Anfang oder Ende