Wie ein LLM wirklich denkt: Neuronale Netze & Training vs. Inferenz

Lektion 6: Neuronale Netze & Training vs. Inferenz

Die „Black Box“ bekommt ein Schaufenster

In den ersten fünf Lektionen hast du gelernt, was du mit KI tun kannst und wie du bessere Prompts schreibst. Jetzt gehen wir einen Schritt tiefer: Warum antwortet das Modell so, wie es antwortet? Was passiert technisch, wenn du eine Frage stellst?

Du musst kein Mathematiker werden. Aber wer grob versteht, wie der Motor funktioniert, fährt auch besser. Und viele der Eigenheiten von KI, warum sie manchmal Dinge erfindet, warum sie das Gestrige nicht kennt, warum sie nicht „dazulernt“, erklären sich fast von selbst, wenn du die Grundstruktur kennst.

Was ist ein neuronales Netz?

Das Herzstück jedes LLMs ist ein neuronales Netz (englisch: Neural Network), ein Computersystem, das lose vom menschlichen Gehirn inspiriert ist. Das Gehirn besteht aus Milliarden von Neuronen (Nervenzellen), die durch Verbindungen miteinander kommunizieren. Je öfter zwei Neuronen gemeinsam aktiv sind, desto stärker wird ihre Verbindung, so entsteht biologisches Lernen.

Ein künstliches neuronales Netz ahmt dieses Prinzip nach, nicht biologisch, sondern rein mathematisch.

Alltagsanalogie: Stell dir ein riesiges Netz aus Wasserrohren vor. Wasser (= Information) fließt am Eingang hinein, durchläuft Dutzende von Rohrleitungsebenen, und am Ende kommt ein Ergebnis heraus. Jedes Rohr hat ein Ventil, ein Gewicht (englisch: Weight), das bestimmt, wie viel Wasser durchfließt. Beim Training werden diese Ventile so lange feinabgestimmt, bis am Ausgang das richtige Ergebnis herauskommt.

Ein neuronales Netz ist in Schichten (englisch: Layers) aufgebaut:

• Eingabeschicht, nimmt den Text auf (in Form von Tokens)
• Versteckte Schichten (englisch: Hidden Layers), viele Ebenen mathematischer Berechnungen, die Bedeutung und Zusammenhänge herausarbeiten
• Ausgabeschicht, erzeugt das nächste wahrscheinlichste Token als Antwort

Moderne LLMs haben Dutzende bis über hundert versteckte Schichten, und Milliarden von Gewichten, die alle präzise aufeinander abgestimmt sein müssen. Wenn ein Modell „70 Milliarden Parameter“ hat, meint das: 70 Milliarden solcher Gewichte.

Training: Der langwierige Lernprozess

Training ist der Prozess, bei dem das neuronale Netz seine Gewichte so einstellt, dass es aus riesigen Textmengen sinnvolle Muster lernt. Konkret läuft das in einem ständig wiederholten Zyklus ab:

1. Daten einspeisen. Das Modell bekommt eine riesige Menge Text, Millionen Bücher, Webseiten, wissenschaftliche Artikel, Foren, Code. Dieser Text ist in Tokens aufgeteilt.

2. Vorhersagen machen. Das Modell versucht vorherzusagen, welches Token als nächstes kommt. Beispiel: „Die Hauptstadt von Frankreich ist ___“, das Modell tippt auf „Paris”.

3. Fehler messen. War die Vorhersage falsch oder ungenau? Wie groß war der Abstand zur richtigen Antwort?

4. Gewichte anpassen. Durch ein mathematisches Verfahren namens Backpropagation (auf Deutsch: Rückwärtsausbreitung des Fehlers) werden alle Gewichte im Netz minimal verändert, so, dass der Fehler beim nächsten Durchlauf etwas kleiner wird. Dieser Schritt heißt Gradient Descent (auf Deutsch: Gradientenabstieg), das Modell „rutscht“ schrittweise in Richtung niedrigerer Fehler, wie ein Ball, der einen Hügel hinunterrollt.

5. Milliarden Mal wiederholen. Schritte 1-4 laufen Milliarden Mal durch, über Wochen oder Monate, mit tausenden von Spezial-Grafikkarten, sogenannten GPUs (englisch: Graphics Processing Units). GPUs wurden ursprünglich für Videospiele entwickelt, sind aber ideal für die parallelen Berechnungen, die neuronale Netze brauchen.

Das Ergebnis: ein Modell mit Milliarden fein abgestimmter Gewichte, das gelernt hat, welche Wörter und Konzepte zusammengehören, wie gut strukturierte Texte aussehen, und wie man auf Fragen antwortet.

Wichtig: Training passiert einmal, oder sehr selten, wenn ein neues Modell entwickelt wird. Es dauert Monate und kostet Millionen Euro. Das fertige Modell ist danach „eingefroren“: die Gewichte ändern sich nicht mehr. Das Modell lernt nicht durch deine Gespräche dazu.

Inferenz: Was passiert, wenn du auf „Senden“ drückst

Inferenz (englisch: Inference) bezeichnet das Berechnen einer Antwort auf Basis des fertig trainierten Modells. Das ist der Vorgang, der bei jeder einzelnen Anfrage läuft.

Bei der Inferenz fließt dein Prompt als Input in das neuronale Netz, durch all die Schichten und Gewichte, und am Ausgang entsteht Token für Token die Antwort. Das Modell berechnet: „Was ist das nächste wahrscheinlichste Token?“ Dann fügt es dieses Token dem Kontext hinzu und berechnet das übernächste Token, und so weiter, bis die Antwort fertig ist.

Der entscheidende Unterschied zwischen Training und Inferenz auf einen Blick:

Alltagsanalogie: Training ist wie das jahrelange Medizinstudium einer Ärztin, sie liest Bücher, macht Fehler, lernt daraus. Danach ist ihr Wissen eingefroren: Sie hat ein bestimmtes Kompetenz-Level. Jede Patientenkonsultation ist Inferenz, sie wendet ihr Wissen an, ohne dabei neu zu studieren. Und: Was sie heute in einer Konsultation bespricht, ändert ihr Grundwissen nicht.

Warum das für dich als Nutzer wichtig ist

Drei praktische Konsequenzen, die sich direkt aus Training vs. Inferenz ergeben:

1. Das Modell lernt nicht durch deine Gespräche. Was du heute einem KI-Chat erzählst, speichert das Basismodell nicht dauerhaft. Morgen weiß es nichts mehr davon, es sei denn, der Dienst hat zusätzlich ein Gedächtnis-Feature eingebaut. Die Gewichte selbst bleiben unverändert.

2. Es gibt einen Wissens-Cutoff. Das Modell kennt nur, was in seinen Trainingsdaten war. Alles danach ist ihm unbekannt, weshalb es manchmal trotzdem eine Antwort erfindet (Stichwort: Halluzination aus Lektion 2). Das Training hat zu einem bestimmten Zeitpunkt aufgehört.

3. Inferenz hat reale Kosten. Jede Anfrage benötigt Rechenkapazität. Deshalb gibt es Nutzungslimits, Abonnements und Kostenpläne. Je größer das Modell, desto teurer jede einzelne Inferenz, das bestimmt, welche KI-Dienste tragfähig sind und welche nicht.

Praxisaufgabe des Tages (ca. 5-10 min)

Heute machst du eine Beobachtungsaufgabe, kein langer Prompt, sondern gezielt hinschauen.

1. Öffne einen KI-Chat deiner Wahl und sende diesen Prompt:

Erkläre mir in 3 Sätzen, was ein neuronales Netz ist, als würdest du zu einem 12-Jährigen sprechen.

2. Lies die Antwort. Dann sende eine Folge-Nachricht:

Gut. Erkläre mir jetzt in 3 Sätzen den Unterschied zwischen
Training und Inferenz, ebenfalls einfache Sprache.

3. Vergleiche die Antworten mit dem, was du heute gelernt hast. Woran du merkst, dass du es verstanden hast: Du kannst sofort erkennen, ob die KI etwas Wesentliches ausgelassen oder vereinfacht hat, weil du die Konzepte jetzt selbst kennst.

Bonusfrage zum Nachdenken: Warum weiß die KI im zweiten Prompt noch, was du im ersten gefragt hast, und warum gilt das nur für dieses Gespräch, nicht für das nächste?

(Antwort: Das Kontextfenster hält den bisherigen Gesprächsverlauf im „Arbeitsgedächtnis“, aber nur für diese Sitzung. Das Basismodell selbst wird nicht verändert. Dazu mehr in Lektion 7.)

KI-News zum Lernen

• OpenAI stellt Sora nach nur 6 Monaten ein, Soras KI-Videogenerator hatte über eine Million Downloads in der ersten Woche, aber die Nutzerzahl sank danach auf unter 500.000, bei geschätzten Inferenz-Kosten von 15 Millionen US-Dollar pro Tag. Das Produkt wurde eingestellt. Warum lehrreich: Das Beispiel macht die realen Kosten von Inferenz bei generativen Modellen greifbar. Videos zu generieren ist deutlich rechenintensiver als Text, jeder Clip beansprucht enorme GPU-Kapazität. Ein Modell zu trainieren ist teuer; es millionenfach zu betreiben, kann wirtschaftlich ruinös sein, wenn die Nutzerzahlen nicht stimmen. (Quelle)

• AMD startet Produktion von 2-Nanometer-Chips, AMDs 6. Generation EPYC-Prozessoren (Codename „Venice“) sind das erste Hochleistungs-Rechenprodukt, das in einem 2-Nanometer-Prozess (nm) gefertigt wird, ein neuer Rekord. Zum Vergleich: 2020 galten 7 nm als Spitze. Je kleiner der Nanometerwert, desto mehr Transistoren passen auf einen Chip, desto mehr Rechenleistung bei weniger Stromverbrauch. Warum lehrreich: KI-Training und Inferenz sind extrem rechenintensiv. Bessere Chips senken die Kosten für beides direkt, Hardwarefortschritt und KI-Fortschritt sind untrennbar verbunden. (Quelle)

Glossar des Tages

• Neuronales Netz (Neural Network), mathematisches System aus Schichten und Gewichten, lose vom Gehirn inspiriert; bildet die Grundlage jedes LLMs
• Gewicht (Weight), einzelner Zahlenwert im neuronalen Netz, der beim Training angepasst wird; Milliarden davon zusammen ergeben das „Wissen“ des Modells
• Training, der einmalige, aufwändige Lernprozess, bei dem das Modell seine Gewichte aus riesigen Textmengen einstellt; dauert Wochen, kostet Millionen
• Inferenz (Inference), das Berechnen einer Antwort auf Basis des fertigen Modells; passiert bei jeder Anfrage in Millisekunden bis Sekunden
• GPU, Grafikprozessor, ursprünglich für Videospiele entwickelt, heute das wichtigste Hardware-Werkzeug für KI-Training und -Inferenz