Frag ChatGPT nach der Hauptstadt von Frankreich, und du bekommst eine perfekte Antwort. Frag es nach der Urlaubsregelung in deinem Unternehmen, und es erfindet dir eine – selbstbewusst, gut formuliert und komplett falsch. Das Modell kennt deine Dokumente schlicht nicht. Die Technik, die genau dieses Problem löst, heißt RAG. Und weil der Begriff in jedem zweiten LinkedIn-Post auftaucht, ohne dass ihn jemand erklärt, machen wir das heute richtig.
Was ist das überhaupt?
RAG steht für Retrieval Augmented Generation – auf Deutsch ungefähr: “Antworten schreiben, nachdem man nachgeschlagen hat”. Die Idee ist simpel: Statt dass ein Sprachmodell nur aus seinem antrainierten Wissen antwortet, bekommt es vor der Antwort die passenden Ausschnitte aus deinen Dokumenten in den Prompt gelegt. Das Modell muss sich nichts mehr ausdenken – es fasst zusammen, was tatsächlich in deinen Unterlagen steht.
Die beste Analogie ist ein Bibliothekar. Ein Sprachmodell ohne RAG ist ein sehr belesener Mensch, der alle Bücher bis zu einem bestimmten Datum gelesen hat und danach in einem fensterlosen Raum sitzt. Fragst du ihn etwas, antwortet er aus dem Gedächtnis – meistens gut, manchmal daneben, und über dein Firmenwiki weiß er gar nichts. RAG gibt diesem Menschen einen Bibliothekar an die Seite: Der läuft bei jeder Frage ins Archiv, zieht die drei relevanten Ordner, legt sie auf den Tisch und sagt “hier, das ist die Grundlage”. Erst dann wird geantwortet.
Der Effekt: weniger Halluzinationen (so nennt man es, wenn ein Modell Fakten erfindet), aktuelle Informationen statt Trainingsstand von gestern, und Antworten, die du auf die Quelle zurückführen kannst.
Wie funktioniert das unter der Haube?
Der Ablauf hat zwei Phasen – eine passiert einmal vorab, eine bei jeder Frage.
Phase 1: Indexieren. Deine Dokumente – PDFs, Wiki-Seiten, Verträge, was auch immer – werden in kleine Abschnitte zerlegt, sogenannte Chunks. Typischerweise ein paar hundert Wörter pro Stück. Jeder Chunk wird dann durch ein spezielles Modell in ein Embedding übersetzt: eine lange Zahlenreihe, die die Bedeutung des Textes beschreibt. Texte mit ähnlicher Bedeutung bekommen ähnliche Zahlenreihen. “Urlaubsantrag einreichen” und “Wie beantrage ich frei?” landen nah beieinander, obwohl kein einziges Wort übereinstimmt. Diese Zahlenreihen wandern in eine Vektordatenbank – eine Datenbank, die auf genau eine Aufgabe optimiert ist: “Finde die Einträge, die diesem hier am ähnlichsten sind.”
Phase 2: Antworten. Stellst du eine Frage, wird auch sie in so eine Zahlenreihe übersetzt. Die Vektordatenbank sucht die Chunks, die ihr am nächsten liegen – das ist der “Retrieval”-Teil. Diese Fundstellen werden zusammen mit deiner Frage ans Sprachmodell geschickt, mit der impliziten Anweisung: “Antworte auf Basis von diesem Material.” Das ist der “Generation”-Teil.
Das Entscheidende, das viele unterschätzen: Die Qualität steht und fällt mit der Suche, nicht mit dem Sprachmodell. Wenn ein RAG-System schlechte Antworten liefert, liegt es in den allermeisten Fällen daran, dass die falschen Chunks gefunden wurden – nicht daran, dass das Modell sie schlecht zusammenfasst. Das beste Modell der Welt kann aus dem falschen Ordner keine richtige Antwort bauen.
Warum ist das relevant – und was kannst du damit tun?
Weil praktisch jede sinnvolle KI-Anwendung im Arbeitsalltag auf eigenen Daten basiert. Ein Chatbot, der allgemeine Fragen beantwortet, ist nett. Ein Assistent, der deine Projektdokumentation, deine Angebote und deine Prozesse kennt, ist ein Werkzeug.
Ein paar konkrete Beispiele, wo RAG heute drinsteckt, oft ohne dass es jemand so nennt: Support-Bots, die aus der echten Hilfedatenbank antworten statt aus dem Bauch. Interne Assistenten, die Richtlinien und Handbücher durchsuchbar machen. Tools wie NotebookLM oder Claude Projects, bei denen du Dokumente hochlädst und dann Fragen dazu stellst – das ist RAG mit hübscher Oberfläche.
Bei mir läuft das Prinzip an zwei Stellen. Im Dürr-Alltag ist der Anwendungsfall klassisch: Prozessdokumentation, die über Jahre gewachsen ist und die niemand mehr komplett im Kopf hat. Ein Assistent, der auf die Frage “Wie war das nochmal mit der Freigabe?” die richtige Stelle aus dem richtigen Dokument zieht, spart keine Stunden – er spart die zwanzig Minuten Suchen, die man zehnmal pro Woche hat. Und privat: Mein Newsletter-Agent Mark sammelt Woche für Woche Quellen und Notizen. Je größer dieses Archiv wird, desto weniger passt es in einen einzelnen Prompt – und desto mehr wird gezielte Suche statt “alles reinkippen” zum einzig gangbaren Weg.
Wenn du selbst experimentieren willst, brauchst du übrigens kein eigenes Backend mehr. Automatisierungsplattformen wie n8n haben fertige Bausteine für Vektordatenbanken und Retrieval – ein einfaches “Frag meine PDFs”-Setup ist damit ein Wochenendprojekt, kein Forschungsvorhaben.
Was sind die Grenzen – und ist RAG nicht längst tot?
Die Frage ist berechtigt. Moderne Modelle haben Kontextfenster von einer Million Tokens und mehr – das sind mehrere tausend Seiten Text, die du theoretisch einfach komplett in den Prompt laden könntest. Wozu dann noch die ganze Such-Maschinerie?
Drei Gründe, warum RAG trotzdem nicht verschwindet:
Kosten. Du bezahlst API-Modelle pro gelesenem Token. Wer bei jeder Frage das komplette Firmenarchiv mitschickt, zahlt jedes Mal für tausende Seiten, von denen drei Absätze relevant waren. RAG schickt nur die drei Absätze. Bei einer einzelnen Anfrage egal – bei einem System, das täglich hunderte Fragen beantwortet, ist es der Unterschied zwischen Portokasse und ernsthafter Rechnung.
Aufmerksamkeit. Modelle werden messbar schlechter, wenn die relevante Information irgendwo in der Mitte eines riesigen Kontexts vergraben ist – das Phänomen ist als “lost in the middle” gut dokumentiert. Viel Kontext heißt nicht automatisch gute Antworten.
Zugriffsrechte. In Unternehmen darf nicht jeder alles sehen. Ein RAG-System kann beim Suchen filtern: Dieser Nutzer bekommt nur Chunks aus Dokumenten, die er auch öffnen dürfte. Ein Modell, dem man einfach alles in den Kontext kippt, kann das nicht.
Ehrlicherweise gehört auch das dazu: RAG ist kein Selbstläufer. Schlecht gescannte PDFs, veraltete Dokumente und wildes Chunking produzieren ein System, das selbstbewusst aus dem falschen Material zitiert. Garbage in, garbage out – nur mit besserer Rhetorik. Wer RAG ernsthaft betreibt, kommt um Datenpflege und regelmäßiges Testen der Antwortqualität nicht herum.
Fazit & Ausblick
RAG ist 2026 weniger Hype-Thema als noch vor zwei Jahren – und genau das ist das Kompliment. Die Technik ist vom Buzzword zum Standardbaustein geworden, so wie Datenbanken: Niemand redet mehr drüber, alle benutzen es. Die Entwicklung geht Richtung hybrider Systeme, die je nach Frage entscheiden, ob sie suchen, den ganzen Kontext laden oder beides kombinieren. Für dich heißt das: Du musst keine Vektordatenbank administrieren können. Aber zu verstehen, warum ein KI-Assistent mit deinen Daten gute oder schlechte Antworten gibt – das wird so grundlegend wie zu wissen, warum man Backups macht.
Deine Gedanken dazu:
Welche Dokumente in deinem Alltag würdest du am liebsten per Frage durchsuchbar machen – und was hält dich bisher davon ab?
Hast du schon mal erlebt, dass ein KI-Tool selbstbewusst Unsinn über Dinge erzählt hat, die es eigentlich “wissen” müsste?
Wärst du bereit, einem RAG-Assistenten zu vertrauen, der dir die Quelle seiner Antwort nicht zeigt?
Wenn Kontextfenster weiter wachsen und Preise weiter fallen – glaubst du, dass sich in fünf Jahren noch jemand die Mühe mit der Such-Infrastruktur macht?