Zum Inhalt springen
Markus Egger
← Alle Lektionen

KI verstehen3 Wie LLMs funktionieren

Temperatur & warum Halluzinationen unvermeidbar sind

Heute lernst du, was hinter dem Begriff Temperatur steckt, dem unsichtbaren Regler, der bestimmt, wie kreativ oder vorhersehbar eine KI antwortet. Und du verstehst aus technischer Sicht, warum Halluzinationen keine reparierbaren Fehler sind, sondern eine strukturelle Eigenschaft davon, wie Sprachmodelle Texte erzeugen.

Lektion 8: Temperatur & warum Halluzinationen unvermeidbar sind

Der Würfelwurf hinter jeder Antwort

In Lektion 1 hast du gelernt, dass ein LLM im Kern immer dasselbe tut: das nächste wahrscheinlichste Token vorhersagen. Aber was heißt „wahrscheinlichstes Token“ genau, und muss das Modell immer exakt dieses nehmen?

Die Antwort ist: nein. Und genau das macht Sprachmodelle erst interessant, und erklärt gleichzeitig, warum sie manchmal irren.

Bevor das Modell das nächste Token ausgibt, berechnet es für jeden möglichen nächsten Textstück-Kandidaten eine Wahrscheinlichkeit. Das Ergebnis ist eine Wahrscheinlichkeitsverteilung (englisch: Probability Distribution), eine Art Rangliste: „Das Token ‚Paris’ passt zu 72 %, ‚Lyon’ zu 14 %, ‚Berlin’ zu 8 % …“ und so weiter, für jedes mögliche nächste Wort im gesamten Vokabular.

Alltagsanalogie: Stell dir vor, du stehst an einer Wegkreuzung mit Wegweisern, auf denen Prozentzahlen stehen. Ein Regler bestimmt, wie du wählst: Nimmst du immer den Weg mit dem höchsten Wert, oder nimmst du manchmal auch einen weniger markierten Weg, einfach um Abwechslung zu haben? Dieser Regler heißt Temperatur.

Temperatur: Der Kreativitätsregler

Temperatur (englisch: Temperature) ist ein numerischer Parameter, der steuert, wie das Modell aus der Wahrscheinlichkeitsverteilung auswählt. Er liegt typischerweise zwischen 0 und 2.

Niedrige Temperatur (nahe 0): Das Modell wählt fast immer das Token mit der höchsten Wahrscheinlichkeit. Antworten werden vorhersehbar, präzise und konsistent, aber manchmal auch einförmig. Ideal für: Faktenfragen, Code generieren, Übersetzungen, Zusammenfassungen.

Hohe Temperatur (nahe 1-2): Das Modell „würfelt“ stärker und wählt öfter auch Tokens mit niedrigerer Wahrscheinlichkeit. Antworten werden vielfältiger, überraschender, kreativer, aber auch fehleranfälliger. Ideal für: Brainstorming, kreatives Schreiben, Ideengenerierung.

Ein Sonderfall ist das sogenannte Greedy Decoding (auf Deutsch: gieriges Dekodieren): Temperatur ≈ 0, das Modell nimmt immer das wahrscheinlichste Token. Klingt maximal sicher, kann aber zu Wiederholungsschleifen und langweiligen Texten führen, weil das Modell buchstäblich nie einen anderen Weg einschlägt.

In KI-Chats wie Claude oder ChatGPT kannst du die Temperatur meist nicht direkt einstellen, die Dienste setzen sinnvolle Standardwerte. Entwickler, die das Modell direkt über eine API (englisch: Application Programming Interface, eine Schnittstelle, über die Software mit dem Modell kommuniziert) ansprechen, steuern Temperatur jedoch präzise. Das Wissen hilft dir trotzdem zu verstehen, warum dieselbe Frage manchmal leicht unterschiedliche Antworten ergibt: selbst bei gleicher Eingabe „würfelt“ das Modell jedes Mal neu.

Warum Halluzinationen strukturell unvermeidbar sind

In Lektion 2 hast du gelernt, was Halluzinationen sind und woran du sie erkennst. Jetzt kommt das technische Warum, das sich direkt aus dem erklärt, was du in den letzten Wochen gelernt hast.

Ein Sprachmodell hat keine Datenbank, in der Fakten abgelegt sind. Es hat keine Wikipedia-Suche im Hintergrund. Es besitzt ausschließlich Milliarden von Gewichten in einem neuronalen Netz, die beim Training gelernt haben, welche Token-Sequenzen statistisch plausibel sind.

Das bedeutet: Das Modell glaubt nichts und weiß nichts, es berechnet, was als Nächstes wahrscheinlich klingt.

Wenn du fragst: „Was waren die Ergebnisse der Studie von Prof. Müller aus Wien 2024?“, und diese Studie in den Trainingsdaten kaum oder gar nicht vorkam, dann hat das Modell keine Möglichkeit zu erkennen, dass es keine verlässliche Antwort hat. Es generiert stattdessen eine plausible Antwort, weil nach dem Muster „Ergebnisse der Studie von Prof. Müller” statistisch typischerweise Prozentzahlen, Schlussfolgerungen und Institutionsnamen folgen. Das Modell füllt das Schema mit erfundenem, aber überzeugend klingendem Inhalt.

Das ist keine Böswilligkeit, es ist die direkte Konsequenz davon, wie das Modell funktioniert. Es optimiert auf sprachliche Plausibilität, nicht auf faktische Wahrheit.

Warum kann man das nicht einfach „reparieren“?

Man könnte denken: Temperatur auf 0 setzen, immer das sicherste Token nehmen! Aber das hilft nicht. Wenn die wahrscheinlichste Token-Folge faktisch falsch ist (weil im Training viele falsche Texte zu diesem Thema vorkamen), gibt das Modell diese falsche Sequenz mit maximaler Überzeugung aus. Niedrige Temperatur macht Antworten zuverlässiger in ihrer Konsistenz, nicht notwendigerweise wahrer.

Das Grundproblem ist, dass das Modell keinen eingebauten Mechanismus hat, zwischen „das habe ich aus Trainingsdaten gelernt“ und „das ist korrekt“ zu unterscheiden. Erst externe Maßnahmen helfen: eine Websuche, die das Modell mit echten Quellen verknüpft (dieses Verfahren heißt RAG, Retrieval Augmented Generation, auf Deutsch: abrufverstärkte Generierung, dazu mehr in Modul 5), oder einfach menschliche Überprüfung.

Drei praktische Konsequenzen für deinen Alltag:

  1. Kreativität vs. Verlässlichkeit bewusst trennen. Wenn du kreative Texte willst, gibt dir die KI durch die höhere Standard-Temperatur Spielraum. Wenn du Fakten brauchst, prüfe nach, egal wie überzeugend die Antwort klingt.

  2. Halluzinationen bei spezifischen Fakten immer einkalkulieren. Je spezieller, seltener oder aktueller ein Fakt, desto höher das Risiko. Das ist keine Produktschwäche, es ist eine Eigenschaft der Technologie.

  3. Unsicherheit explizit erfragen. Du kannst schreiben: „Wenn du dir nicht sicher bist, sag es bitte deutlich.“ Das verbessert das Ergebnis spürbar, manche Modelle sind in ihrer Kalibrierung (das Verhältnis zwischen Selbsteinschätzung und tatsächlicher Genauigkeit) besser als andere.

Praxisaufgabe des Tages (ca. 10 min)

Heute erlebst du den Temperatur-Effekt direkt, du siehst den Unterschied zwischen „präzise“ und „kreativ“ in der Praxis.

1. Öffne einen KI-Chat deiner Wahl und stelle diese faktische Frage:

Was ist die Hauptstadt von Australien?
Antworte in einem Satz.

Notiere die Antwort. (Richtig: Canberra, nicht Sydney, wie viele vermuten.)

2. Stelle jetzt diese kreative Aufgabe:

Erfinde einen kurzen, einprägsamen Werbeslogan für eine
fiktive Kaffeemarke namens "Morgennebel".
Gib mir 5 verschiedene Vorschläge, jeder in einem anderen Stil.

3. Schreibe denselben Prompt aus Schritt 2 nochmals, in einem komplett neuen Gespräch.

Was du beobachten solltest: Die Antwort auf Schritt 1 bleibt stabil (Canberra). Die Slogans aus Schritt 2 variieren leicht zwischen den beiden Durchläufen, weil das Modell bei kreativen Aufgaben mit einer höheren Standard-Temperatur arbeitet und jedes Mal etwas anders „würfelt“.

Woran du merkst, dass du es verstanden hast: Du kannst einem Freund in einem Satz erklären, warum Schritt 1 reproduzierbar ist und Schritt 2 variiert, und du kannst sagen, was „Temperatur“ bei einer KI bedeutet, ohne dieses Dokument anzuschauen.

Bonusfrage zum Nachdenken: Wenn du möchtest, dass eine KI jedes Mal exakt denselben Text erzeugt (z. B. für ein automatisiertes System), was würdest du mit der Temperatur machen?

(Antwort: Temperatur auf 0 oder sehr niedrig setzen, Greedy Decoding, damit das Modell immer den wahrscheinlichsten Pfad nimmt und kaum variiert.)

KI-News zum Lernen

  • US-Regierung lässt Anthropics leistungsstärkste Modelle sperren, Was ist passiert: Das KI-Unternehmen Anthropic hatte Anfang Juni 2026 seine neuen Topmodelle veröffentlicht. Wenige Tage nach dem Launch ordnete die US-Regierung an, den globalen Zugang auf US-Staatsbürger zu beschränken. Als Grund wird eine entdeckte Jailbreak-Methode genannt, das ist eine Technik, mit der Nutzer versuchen, die eingebauten Sicherheitsmechanismen (Guardrails) eines Modells zu umgehen, um unerwünschte Ausgaben zu erzwingen. Warum interessant: Das zeigt, dass selbst sorgfältig aufgebaute Sicherheitsfilter prinzipiell überlistet werden können. Die Balance zwischen Modell-Leistung und Sicherheit ist ein aktives, ungelöstes Problem. Quelle: TechCrunch

  • EZB-Chefin Lagarde: KI bedroht die Finanzstabilität, Was ist passiert: EZB-Präsidentin Christine Lagarde warnte am 17. Juni 2026 in einer Rede, dass KI das globale Finanzsystem destabilisieren könnte. Hauptgründe: Konzentrationsrisiken (wenn sehr viele Banken und Finanzinstitute dieselben wenigen KI-Systeme nutzen, kann ein einziger Fehler oder Ausfall alle gleichzeitig treffen), automatisierte Handelsalgorithmen, die Krisen durch Kettenreaktionen verstärken, und KI-gestützte Cyberangriffe auf kritische Infrastruktur. Lagarde forderte internationale Regelwerke, vergleichbar mit nuklearen Nichtverbreitungsverträgen. Warum interessant: Es zeigt, dass KI längst kein reines Technologiethema mehr ist, die gesellschaftlichen und wirtschaftlichen Auswirkungen werden gerade erst in ihrer Breite sichtbar. Quelle: Bloomberg

Glossar des Tages

  • Temperatur (Temperature), Parameter (0-2), der steuert, wie stark das Modell beim Auswählen des nächsten Tokens von der wahrscheinlichsten Option abweicht; niedrig = präzise und konsistent, hoch = kreativ und variabel
  • Wahrscheinlichkeitsverteilung (Probability Distribution), die interne Rangliste aller möglichen nächsten Tokens mit ihren jeweiligen Wahrscheinlichkeiten; die Grundlage jeder Modell-Ausgabe
  • Greedy Decoding, Strategie mit Temperatur ≈ 0: immer das wahrscheinlichste Token wählen; sehr konsistent, aber wenig kreativ
  • Jailbreak, eine Technik, mit der Nutzer versuchen, die Sicherheitsmechanismen eines KI-Modells zu umgehen und unerwünschte Ausgaben zu erzwingen
  • Guardrails, eingebaute Schutzmechanismen in einem KI-Modell, die bestimmte Arten gefährlicher oder unerwünschter Ausgaben verhindern sollen