Einmal kompiliert, nicht bei jeder Frage neu

Retrieval-Augmented Generation hält deine Rohdokumente - Transkripte, PDFs, was auch immer - in einem Index. Eine Frage kommt, es holt die Textstücke, die relevant aussehen, stopft sie in einen Prompt, und das Modell antwortet aus diesem Kontext. Fragst du fünf Minuten später etwas Verwandtes, holt es erneut - von vorn.

Von der ersten Antwort bleibt nichts hängen. Der Index wird nicht schlauer, geordneter oder vernetzter, weil du ihn etwas gefragt hast. Es ist eine sehr gute Wiederlese-Maschine, und Wiederlesen ist der ganze Vorgang.

Die Methode liest eine Quelle einmal - im Kompilierschritt - und schreibt, was sie gelernt hat, auf Seiten, geordnet nach Konzept, verlinkt zu verwandten Konzepten, im Kopf mit der Herkunft jeder Aussage. Die nächste Frage liest diese Seiten, nicht das rohe Transkript.

Der Unterschied zeigt sich bei der zweiten Frage. RAG leitet die Antwort erneut aus rohem Text ab. Ein kompiliertes Netz hat die Seite bereits, hat bereits die Links zu benachbarten Konzepten, die eine Rohtext-Suche nie zutage gefördert hätte, und antwortet schneller, weil das Lesen erledigt ist.

Kompilieren kostet im Voraus mehr als Indexieren. Du bezahlst ein Modell dafür, beim Einlesen zu lesen und zu schreiben - bevor überhaupt eine Frage gestellt wurde. RAG schiebt diese Kosten auf den Moment der Anfrage und zahlt sie dann, kleiner dosiert, jedes einzelne Mal. Fragst du einen Korpus nur genau einmal, ist RAG billiger.

Aber ein Korpus, zu dem du immer wieder zurückkehrst, dreht die Rechnung um. Jede Frage gegen ein kompiliertes Netz nutzt bereits bezahlte Arbeit weiter. Jede Frage gegen RAG zahlt die Retrieval- und Reasoning-Kosten erneut - und die Antwort verdunstet trotzdem, sobald sie da ist.

Ehrlich zu den Fällen: ein Korpus, zu groß zum Kompilieren - Millionen Dokumente, bei denen eine Seite pro Konzept kein Wochenendprojekt ist. Ein Korpus, der sich schneller ändert, als du neu kompilieren kannst - Live-Logs, ein Feed, der minütlich aktualisiert. Eine Frage, die den exakten Rohtext will, keine Verdichtung davon - ein juristisches Zitat, eine präzise Transkriptzeile, wo Kompilieren genau das wegparaphrasieren würde, was du eigentlich brauchtest.

Und schlicht: Gibt es gar kein Budget für den Kompilierdurchgang, schlägt RAG ohne Vorabkosten ein kompiliertes Netz, das nie gebaut wird.

Eine einmalige Frage über einen riesigen oder sich schnell ändernden Korpus: RAG. Ein Quellenbestand, den du monatelang befragst, verlinkst und darauf aufbaust - ein Podcast-Archiv, ein Recherchethema, eine persönliche Wissensbasis: kompilieren. Die Methode existiert für den zweiten Fall; sie ist kein universeller Ersatz für den ersten.