Mit eigenen Dateien arbeiten: RAG einfach erklärt

Lektion 14: Mit eigenen Dateien arbeiten, RAG einfach erklärt

Warum reicht das Standard-Wissen des Modells nicht?

In Lektion 13 hast du gelernt, wie Custom Instructions und Projekte funktionieren. Dabei tauchte eine Funktion auf: eigene Dateien hochladen. Heute schauen wir genauer hin, was passiert eigentlich, wenn du ein PDF oder ein Word-Dokument in Claude oder ChatGPT hochlädst?

Ein Sprachmodell hat beim Training riesige Mengen an öffentlichem Text gesehen: Bücher, Wikipedia, Fachartikel, Webseiten. Was es dabei nicht gesehen hat, ist dein persönliches Wissen, dein Mietvertrag, die Vereinssatzung deines Vereins, das Handbuch eines Geräts, das interne Protokoll einer Besprechung. Diese Dokumente existieren nur bei dir.

Genau hier kommt RAG ins Spiel.

Was ist RAG?

RAG steht für Retrieval-Augmented Generation, auf Deutsch: abrufverstärkte Textgenerierung. Das klingt akademisch, steckt aber eine simple Idee dahinter: erst suchen, dann formulieren.

Stell dir einen Bibliothekar vor, der ausschließlich die Bücher gelesen hat, die du ihm persönlich gegeben hast. Du fragst ihn: „Welche Kündigungsfrist gilt in meinem Mietvertrag?“ Er schlägt nach, findet die relevante Stelle, und erklärt sie dir mit eigenen Worten, ohne etwas zu erfinden, weil er direkt aus dem Dokument antwortet.

Genau das macht RAG: Das System durchsucht dein Dokument zuerst, findet die passenden Stellen, und erst dann formuliert das Sprachmodell eine Antwort auf Basis genau dieser Stellen.

Wie RAG in drei Schritten funktioniert

Du musst das technisch nicht im Detail beherrschen. Aber wenn du verstehst, warum RAG manchmal die „falsche“ Stelle findet, kannst du deine Fragen gezielter stellen.

Schritt 1, Chunking (Zerstückeln) Dein hochgeladenes Dokument wird zuerst in viele kleine Abschnitte zerlegt, sogenannte Chunks (englisch: Brocken, Stücke). Ein Chunk ist typischerweise ein Absatz oder ein paar Sätze. Der Grund: Das gesamte Dokument wäre oft zu groß, um auf einmal verarbeitet zu werden, und kleine Einheiten lassen sich präziser durchsuchen.

Schritt 2, Embedding (Vektorisierung) Jeder Chunk wird in eine Art Zahlenkarte umgewandelt, einen sogenannten Embedding-Vektor (von englisch embed: einbetten). Ein Embedding ist eine mathematische Darstellung der Bedeutung eines Textstücks als Liste von Zahlen. Ähnliche Inhalte erzeugen ähnliche Zahlenreihen, so kann das System automatisch erkennen, welche Chunks thematisch zu einer Frage passen, ohne jedes Wort einzeln vergleichen zu müssen.

Alltagsanalogie: Stell dir vor, jeder Absatz deines Dokuments bekommt eine „Farbwolke“, je ähnlicher der Inhalt, desto ähnlicher die Farbe. Das System sucht dann: Welche Absätze haben eine ähnliche Farbwolke wie meine Frage? Und findet so die passenden Stellen, ohne das ganze Dokument durchlesen zu müssen.

Schritt 3, Retrieval + Generation (Abrufen + Formulieren) Wenn du eine Frage stellst, wird sie ebenfalls in einen Embedding-Vektor umgewandelt. Das System sucht die Chunks, die deiner Frage am ähnlichsten sind, das ist das Retrieval (englisch: Abrufen), und gibt genau diese Stellen dem Sprachmodell weiter. Das Modell formuliert daraus eine verständliche Antwort, das ist die Generation (englisch: Erzeugen). Ergebnis: eine Antwort, die auf deinem Dokument beruht, nicht auf allgemeinem Trainings-Wissen.

Was du damit im Alltag machst

Für dich als Nutzer sieht das alles viel einfacher aus: Datei hochladen, Frage stellen, fertig. Den technischen Ablauf führt das Tool im Hintergrund durch.

Wofür Datei-Upload besonders gut funktioniert:

• „Erkläre mir Paragraph 3 meines Mietvertrags in einfachen Worten.“
• „Fass diesen 20-seitigen Bericht in fünf Punkten zusammen.“
• „Welche Fristen gelten laut diesem Dokument?“
• „Was unterscheidet Variante A von Variante B laut dieser Tabelle?“

Unterstützte Dateitypen (je nach Tool und Tarif): PDF, Word (.docx), einfache Textdateien (.txt), Markdown, teils auch CSV und Excel. Gescannte PDFs ohne Texterkennung funktionieren schlechter, weil das System nur Bilder sieht, keinen lesbaren Text.

Drei Grenzen, die du kennen solltest

1. Das System liest nicht wie ein Mensch. Die Suche ist mathematisch, sie findet Stellen, die deiner Frage zahlenmäßig ähnlich sind. Wenn das Dokument das Stichwort „Ausnahme“ verwendet, du aber nach „Sonderfall“ fragst, kann der relevante Chunk übersehen werden. Tipp: Verwende in deinen Fragen möglichst die Formulierungen, die auch im Dokument stehen.

2. Chunk-Grenzen können Zusammenhänge trennen. Wenn eine wichtige Information auf Seite 5 beginnt und die entscheidende Schlussfolgerung erst auf Seite 6 steht, kann das System den Zusammenhang gelegentlich verpassen, weil die beiden Teile in verschiedene Chunks aufgeteilt wurden.

3. Halluzinationen bleiben möglich. Auch mit RAG kann das Sprachmodell Details hinzuerfinden, die nicht im Dokument stehen, vor allem wenn die gefundenen Chunks lückenhaft sind oder die Frage vage formuliert wurde. Prüfe wichtige Aussagen immer gegen das Originaldokument.

Drei Varianten im Vergleich

Für den privaten Alltag reicht der direkte Datei-Upload in einem KI-Chat deiner Wahl völlig aus. Die anderen Varianten lernst du in späteren Modulen kennen.

Praxisaufgabe des Tages (ca. 10-15 min)

Heute testest du RAG direkt mit einem eigenen Dokument.

Schritt 1: Such ein kurzes PDF oder Textdokument, das du griffbereit hast, z. B. eine Bedienungsanleitung, ein kurzer Vertrag, ein Artikel aus dem Netz (als PDF gespeichert) oder ein beliebiges Dokument aus deinem Alltag.

Schritt 2: Öffne einen KI-Chat deiner Wahl (Claude oder ChatGPT sind empfohlen). Lade die Datei über das Büroklammer- oder Upload-Symbol hoch.

Schritt 3: Stelle dem Chat nacheinander diese drei Fragen:

1. „Fass den Inhalt dieses Dokuments in drei Sätzen zusammen."
2. „Welche konkreten Zahlen, Daten oder Fristen enthält dieses Dokument?"
3. „Was ist die wichtigste Aussage im zweiten Abschnitt?"

Schritt 4: Prüfe eine der Antworten direkt gegen das Originaldokument. Stimmt die Aussage? Fehlt etwas? Ist etwas hinzuerfunden?

Schritt 5 (Bonus): Stelle dieselbe Frage einmal vage und einmal mit den genauen Wörtern aus dem Dokument, und vergleiche, ob die Antwort sich verändert.

Woran du merkst, dass du es verstanden hast: Du kannst einem Freund in zwei Sätzen erklären, was RAG bedeutet, und weißt, warum es trotz RAG noch zu falschen Antworten kommen kann.

KI-News zum Lernen

• NVIDIA veröffentlicht Nemotron 3 Ultra mit 550 Milliarden Parametern, Was ist passiert: NVIDIA, bekannt vor allem als Hersteller von Grafikkarten, hat ein eigenes Sprachmodell mit 550 Milliarden Parametern (trainierte Lerngewichte im neuronalen Netz, je mehr Parameter, desto mehr Muster konnte das Modell lernen; kurze Wiederholung aus Lektion 6) veröffentlicht. Es wird als Open-Weights-Modell (englisch: open weights, dt. offene Gewichte, das Modell ist frei herunterladbar und lokal nutzbar, ohne Abhängigkeit von einem Cloud-Dienst) angeboten und gilt als das größte frei verfügbare US-Modell. Warum interessant: Große Open-Weights-Modelle sind die Grundlage für lokal betriebene RAG-Systeme, also RAG auf dem eigenen Computer oder dem Firmenserver, ohne Dokumente in eine externe Cloud hochladen zu müssen. Für datenschutzbewusste Nutzer und Unternehmen ist das ein wichtiges Thema. Quelle

• AI PCs mit speziellen KI-Chips werden zum Standard, Was ist passiert: Hardware-Hersteller bringen zunehmend Laptops und PCs auf den Markt, die eine eigene NPU (englisch: Neural Processing Unit, dt. neuronale Verarbeitungseinheit, ein spezieller Chip, der KI-Berechnungen deutlich schneller und energieeffizienter ausführt als eine normale CPU) eingebaut haben. NVIDIA zum Beispiel bewirbt seinen RTX-Spark-Chip gezielt für lokale KI-Aufgaben. Warum interessant: Das hängt direkt mit dem heutigen Thema zusammen. Wer ein Dokument analysieren will, ohne es zu einem US-Anbieter hochzuschicken, könnte das künftig auf dem eigenen Gerät tun, dank NPU schnell genug für den Alltag. Lokal betriebenes RAG ohne Cloud-Abhängigkeit wird damit für Normalnutzer realistisch.

Glossar des Tages

• RAG (Retrieval-Augmented Generation), KI-Verfahren, bei dem das System zuerst relevante Textstellen aus einem Dokument abruft (Retrieval) und diese dann zur Antwortformulierung nutzt (Generation); kombiniert Suche mit Sprachmodell
• Chunking, das Zerstückeln eines Dokuments in kleine, überschaubare Abschnitte, damit das RAG-System gezielt darin suchen kann
• Embedding (Einbettung / Vektorisierung), mathematische Darstellung eines Textstücks als Zahlenreihe; ähnliche Inhalte erzeugen ähnliche Zahlen, die Basis für semantische, also bedeutungsbasierte Suche
• Open Weights, Modell, dessen trainierte Parameter frei herunterladbar und lokal nutzbar sind, ohne Abhängigkeit von einem externen Cloud-Dienst
• NPU (Neural Processing Unit), spezieller Chip in modernen Computern, der KI-Berechnungen schnell und energieeffizient direkt auf dem Gerät ausführt, ohne Cloud-Verbindung