Was unterscheidet RAG von ChatGPT?

ChatGPT ist ein Sprachmodell, das mit öffentlichen Daten trainiert wurde — es kennt die Welt, aber nicht euer Unternehmen. RAG ist eine Architektur, die ein Sprachmodell mit eurer Firmen-Wissensbasis kombiniert: Eure Dokumente bleiben bei euch, das Modell bekommt sie nur als Kontext zur jeweiligen Frage. Ergebnis sind Antworten aus eurem Firmenwissen mit Quellenangabe, ohne dass eure Daten zum Trainingsmaterial werden.

Hab ich nicht gehört, dass RAG tot ist?

Vanilla-RAG aus 2023 — Dokumente in Pinecone werfen, fertig — ist tot. Das hat nie für Enterprise funktioniert. Modern-RAG mit hybriden Indizes (Vektor + Knowledge Graph), Reranking, Audit-Trails und Governance-Layer ist Enterprise-Standard 2026 (Gartner: 40 Prozent aller Enterprise-Anwendungen). Wer „RAG ist tot" liest, sollte nachfragen: welches RAG?

Brauche ich eigene Server für RAG?

Nein, aber es ist eine Option. Drei realistische Pfade: on-premises (volle Kontrolle, ab 50.000 Euro Setup), EU-Cloud bei deutschen oder europäischen Anbietern wie Mistral, Aleph Alpha oder IONOS (DSGVO-konform mit DPA, ab 5.000 bis 15.000 Euro für einen Pilot), oder Hybrid (Index lokal, Sprachmodell als API). Welcher Pfad zu euch passt, hängt von Datensensibilität und Volumen ab — nicht von der Mitarbeiterzahl.

Was kostet ein RAG-System für ein KMU?

Ein Pilot mit 50 bis 200 Dokumenten und 4 bis 6 Wochen Laufzeit kostet 5.000 bis 15.000 Euro. Ein Produktivsystem mit DPA, DSFA und Governance im ersten Jahr liegt bei 20.000 bis 60.000 Euro je nach Anbieter und Eigenleistung. Vergleich: Ein einziger ungeplanter Wissensverlust durch Ausscheiden eines Schlüsselmitarbeiters kostet laut Branchenschätzungen 60.000 bis 100.000 Euro Einarbeitungszeit für den Nachfolger. Der Pilot rechnet sich, wenn er einen Vorfall verhindert.

Wie lange dauert die Einführung?

Wissens-Audit und Anbieter-Auswahl 2 bis 4 Wochen. Pilot mit 50 bis 200 Dokumenten 4 bis 6 Wochen. Roll-out auf produktive Nutzung mit Berechtigungskonzept und Schulung 8 bis 12 Wochen. Realistisch insgesamt 4 bis 6 Monate vom Beschluss zum produktiven System. Wer „in 6 Wochen fertig" verspricht, baut entweder Vanilla-RAG aus 2023 oder hat noch nie für ein KMU implementiert.

RAG in 5 Minuten erklärt

RAG = Retrieval Augmented Generation. Eure Firma als Bibliothek erklärt — DSGVO-konform, mit Quellenangabe, ohne Trainingsmaterial-Risiko.

Warum ChatGPT nichts über euer Unternehmen weiß — und warum das gut ist

Ein Geschäftsführer schrieb mir letzte Woche: „60 Mitarbeiter. 2.000 PDFs auf dem Server. Wenn ich eine wichtige Frage habe, frage ich Klaus. Klaus geht 2027 in Rente. Was machen wir dann?"

Klaus ist Konstrukteur. 28 Jahre im Unternehmen. Trifft täglich circa 30 Mikroentscheidungen, die nirgendwo dokumentiert sind. ChatGPT haben sie intern verboten — der Datenschutzbeauftragte ist skeptisch. Der einzige Plan: einen Lehrling drei Jahre neben Klaus setzen und hoffen.

Drei Jahre. Hoffen.

Diese Mathematik ist kein Einzelfall. Laut Trojan-Studie beklagen 76 Prozent aller deutschen Unternehmen massiven Wissensverlust bei Stellenwechseln^[10] — und das war noch vor der demografischen Welle, die jetzt rollt.

ChatGPT ist ein Generalist mit Welt-Wissen aus 2023 bis 2024. Es kennt die Geschichte des Maschinenbaus, kann ein Patent grob einordnen, weiß was DIN-Normen sind. Es kennt Klaus' 28 Jahre Spezialwissen nicht. Es kennt euer Firmenarchiv nicht. Es kennt die ungeschriebenen Regeln nicht, mit denen ihr seit 2014 Kunde Müller bedient.

Das ist kein Bug — das ist der Ausgangspunkt für eine ganz andere Architektur. Sie heißt RAG.

Was RAG ist — die Bibliotheks-Metapher in 5 Sätzen

RAG steht für Retrieval Augmented Generation^[7]. Übersetzt: „Generierung mit Suche im Hintergrund."

Stellt euch eure Firma als Bibliothek vor. RAG ist ein Bibliothekar in eurem Firmenarchiv. Er hat alle eure Dokumente gelesen. Bei jeder Frage sucht er die relevantesten 3 bis 5 Stellen, gibt sie einem Sprachmodell als Kontext und formuliert daraus eine Antwort. Mit Quellenangabe. Lernt nichts auswendig.

Das ist die ganze Idee. Mehr ist es nicht. Weniger reicht aber auch nicht — und genau hier scheitern viele Eigenbau-Versuche aus 2023, die ich gleich noch behandle.

Drei Sätze, die das Prinzip festhalten:

ChatGPT ist Wikipedia. Kennt die Welt. Kennt euer Unternehmen nicht. RAG ist ein Bibliothekar in eurem Firmenarchiv. Kennt eure Dokumente. Antwortet mit Quellenangabe. Beides kombiniert: das Beste beider Welten.

Wie RAG technisch funktioniert — ohne Buzzwords

RAG hat drei Bausteine:

1. Vektor-Datenbank (oder Knowledge Graph). Sie wandelt eure Dokumente in durchsuchbare Bedeutungs-Repräsentationen um. Ein Dokument über „Toleranzen bei Stahl 1.4301" wird so verschlagwortet, dass auch eine Frage nach „rostfreier Stahl Maßabweichungen Konstruktion" die richtige Stelle findet. Klassische Volltextsuche kann das nicht — sie sucht Wörter, nicht Bedeutungen.

2. Retriever. Er findet bei einer konkreten Frage die 3 bis 5 relevantesten Textausschnitte aus dem Index. Im Modern-RAG-Setup von 2026 ist das ein Hybrid-Retriever: er nutzt Vektor-Suche UND Knowledge-Graph-Beziehungen. Manchmal kommt ein zusätzlicher Reranking-Schritt dazu, der die ersten 50 Treffer noch einmal qualitativ sortiert.

3. Sprachmodell. Es bekommt die Ausschnitte als Kontext und formuliert die Antwort. Das Modell wird nicht mit euren Daten trainiert. Es sieht sie nur im Moment der Frage und vergisst sie danach. Das ist der Punkt, der DSGVO-Konformität überhaupt erst möglich macht.

Hybrid-RAG (Vektor + Graph) ist Enterprise-Standard 2026^[3]. Gartner sagt: 40 Prozent aller Enterprise-Anwendungen werden 2026 RAG-Komponenten enthalten^[2]. Eine systematische Übersicht der MDPI von Dezember 2025, die 63 Enterprise-RAG-Studien ausgewertet hat^[4], zeigt: 23 Prozent der untersuchten Implementierungen nutzen bereits Hybrid-Indizes mit Knowledge Graphs — Tendenz stark steigend.

Was es konkret bringt — die ROI-Zahlen ohne Beschönigung

Die häufigste Frage von Geschäftsführern: „Was bringt uns das in echten Zahlen?"

Zahlen aus Studien zur Enterprise-RAG-Adoption 2025 bis 2026^[6]:

30 bis 70 Prozent Effizienzgewinn in wissensintensiven Workflows nach RAG-Bereitstellung.
60 bis 80 Prozent weniger Halluzinationen gegenüber ChatGPT-Direktnutzung.
60 bis 70 Prozent schnellere Informationssuche. Bei 500 Mitarbeitenden ergibt das laut Squirro über 150.000 gesparte Suchstunden pro Jahr.
Token-Kosten 10- bis 25-mal günstiger als der naive „alle Dokumente in den Prompt werfen"-Ansatz.
3-Jahres-ROI: 7,8-fache der Investition bei einer ordentlichen Enterprise-Implementation.

Das sind Branchen-Durchschnittswerte. Im KMU-Kontext sind sie etwas konservativer einzuordnen — aber selbst die Hälfte davon rechtfertigt den Einstieg.

Für wen lohnt sich RAG? Die 10/50/200-Faustregel

Die einfachste Faustregel, die ich kenne — aus drei Jahren KMU-Praxis:

Ab 10 wiederkehrenden Dokumenten lohnt sich RAG. Ab 50 Dokumenten wird es Pflicht. Ab 200 Dokumenten ist es überlebensnotwendig.

Aber: Nicht die Mitarbeiterzahl ist der Engpass. Entscheidend ist die Frequenz wiederkehrender Fragen an Schlüsselpersonen. Faustfrage: Hört ihr „Wo steht das nochmal?" mehr als 5-mal pro Woche im Flur? Dann seid ihr Zielgruppe.

Drei typische Profile aus meiner Praxis:

50 bis 80 MA Maschinenbau mit Konstruktions-Wissen, Toleranz-Tabellen, Werkstoff-Erfahrung.
40 bis 100 MA Beratung mit Mandanten-Historie, Vertrags-Vorlagen, Branchen-Briefings.
25 bis 60 MA IT-Dienstleister mit Lösungs-Wiki, Kundensystem-Eigenheiten, Migrations-Checklisten.

In allen drei Fällen ist die kritische Größe nicht „wie viele Personen sind im Unternehmen", sondern „wie viel implizites Wissen tragen die 3 bis 5 Schlüsselpersonen, deren Ausscheiden weh tun würde".

Die DSGVO-Frage zuerst — was viele Datenschutzbeauftragte missverstehen

In jeder zweiten Anfrage taucht der Satz auf: „Klingt cool, aber unser Datenschutzbeauftragter wird das nie genehmigen."

Modern-RAG ist explizit für regulierte Umgebungen gebaut^[8]. Drei Pfade sind heute realistisch:

On-premises: Alles im eigenen Rechenzentrum. Volle Kontrolle, höchster Aufwand, ab 50.000 Euro Setup.
EU-Cloud: Bei deutschen oder europäischen Anbietern wie Mistral, Aleph Alpha oder per Azure-EU-Region. DSGVO-konform mit AVV/DPA, ab 5.000 bis 15.000 Euro für einen Pilot.
Hybrid: Index lokal bei euch, Sprachmodell als API. Eure Dokumente verlassen euren Kontrollbereich nicht — nur die aktuelle Frage geht an das Modell.

Was ihr braucht: einen Auftragsverarbeitungsvertrag mit dem Anbieter, eine DSFA bei sensiblen Daten, ein klares Berechtigungskonzept im Index. Was ihr nicht braucht: einen US-Cloud-Vertrag oder ein Modell, das mit euren Daten weitertrainiert wird.

Wer die DSGVO-Frage vor der Tool-Auswahl klärt — und nicht danach — hat in der Regel kein Problem. Wer es umgekehrt macht, lässt sich oft drei Monate nach dem Pilot vom Datenschutzbeauftragten zurückpfeifen.

Erste Schritte — was ihr diese Woche tun könnt

Bevor irgendein Tool ausgewählt wird, kommen drei Schritte. Sie kosten kein Geld, brauchen aber 60 bis 90 Minuten Disziplin.

Schritt 1 — Wissens-Audit (60 Min, am besten zu zweit): Listet die 3 bis 5 Personen, deren Ausscheiden weh tun würde. Notiert pro Person 5 bis 10 Mikroentscheidungen, die sie täglich treffen. Markiert die, für die nirgendwo eine Anleitung existiert.

Schritt 2 — Top-Fragen sammeln (20 Min): Was waren die 10 häufigsten internen Fragen der letzten 4 Wochen? Wer wurde gefragt? Wo wäre die Antwort eigentlich gespeichert?

Schritt 3 — DSB-Klärung (30 Min): Setzt euch mit dem Datenschutzbeauftragten zusammen, bevor ihr ein Tool wählt. Frage: „Wie würde RAG bei uns aussehen, damit du zustimmen kannst?" Die Antwort ist meistens überraschend pragmatisch — wenn man früh genug fragt.

Brücke zur Mai-Serie: Nächste Woche zeige ich, wie RAG konkret aussieht. Use Cases aus Onboarding, technischem Support und Compliance — mit echten Zahlen aus drei deutschen Mittelstands-Implementierungen.

Fazit — RAG ist nicht das nächste Hype-Akronym

Ja, „RAG ist tot"-Schlagzeilen kursieren^[9]. Sie meinen Vanilla-RAG aus 2023 — Dokumente in Pinecone werfen, fertig. Das ist tot. Modern-RAG mit Hybrid-Indizes, Reranking, Audit-Trail und Governance ist Enterprise-Standard 2026.

41 Prozent der deutschen Firmen nutzen heute KI^[1]. Nur 6 Prozent setzen sie im internen Wissensmanagement ein. 37 Prozent der KI-Planer haben Wissensverwaltung auf der Roadmap. Die Lücke zwischen Absicht und Umsetzung ist das Marktfenster — für die nächsten 18 bis 24 Monate.

Wer 2026 anfängt, hat 2028 ein produktives System mit Governance und Akzeptanz. Wer 2028 anfängt, hat 2030 noch keines. Und währenddessen geht Klaus in Rente — mit 28 Jahren Erfahrung im Kopf, die in keinem Aktenordner stehen.

Das Problem ist real. Die Lösung auch. Der Unterschied zwischen beiden ist die Frage, ob ihr diese Woche 60 Minuten in einen Wissens-Audit steckt.