RAG im Unternehmen: Wie Sprachmodelle mit Ihrem eigenen Wissen arbeiten

Viele Unternehmen haben ihr Wissen über Jahre in Handbüchern, Verträgen, Wikis, Tickets und E-Mails abgelegt. Gefunden wird davon oft nur, was jemand noch im Kopf hat. Sprachmodelle wie GPT, Claude oder Mistral versprechen hier Abhilfe – kennen die internen Dokumente aber nicht. Retrieval-Augmented Generation, kurz RAG, schließt diese Lücke.

Was RAG ist

Die Idee stammt aus einem Forschungspapier von Facebook AI Research (heute Meta) aus dem Jahr 2020 (Lewis et al., 2020). Statt sich allein auf das beim Training Gelernte zu verlassen, sucht das System vor jeder Antwort zuerst passende Textstellen aus einer Wissensbasis heraus und gibt sie dem Sprachmodell als Kontext mit. Das Modell formuliert die Antwort dann auf Grundlage dieser Quellen.

Vereinfacht besteht ein RAG-System aus drei Teilen:

1. Indexierung: Dokumente werden in Abschnitte zerlegt und so aufbereitet, dass sie sich schnell durchsuchen lassen – meist als Vektoren, die die Bedeutung eines Textes abbilden.
2. Retrieval: Zu einer Frage werden die inhaltlich ähnlichsten Abschnitte gesucht.
3. Generierung: Frage und gefundene Abschnitte gehen gemeinsam an das Sprachmodell, das daraus eine Antwort erstellt – idealerweise mit Verweis auf die Quelle.

Welche Probleme RAG löst

Fehlendes Wissen. Ein Sprachmodell kennt nur, was bis zu seinem Trainingsstichtag öffentlich verfügbar war. Interne Dokumente, aktuelle Preislisten oder die neueste Fassung einer Richtlinie gehören nicht dazu. Mit RAG kommen diese Informationen zum Zeitpunkt der Anfrage hinzu – ohne das Modell neu trainieren zu müssen.

Erfundene Antworten. Sprachmodelle erzeugen Text, indem sie wahrscheinliche Fortsetzungen berechnen. Das klingt oft überzeugend, ist aber nicht immer richtig – man spricht von Halluzinationen. Katharina Zweig beschreibt anschaulich, warum ein Sprachmodell nicht „weiß“, ob es etwas weiß (Zweig, 2025). RAG beseitigt das Problem nicht, reduziert es aber deutlich: Das Modell stützt sich auf konkrete Textstellen, und die Antwort lässt sich anhand der Quelle überprüfen (Gao et al., 2024).

Begrenzter Kontext. Man kann einem Modell nicht einfach hundert Dokumente übergeben und auf eine gute Antwort hoffen. Selbst Modelle mit großem Kontextfenster nutzen lange Eingaben nicht zuverlässig: Informationen in der Mitte werden deutlich schlechter berücksichtigt als am Anfang oder Ende (Liu et al., 2024). Eine gute Vorauswahl der relevanten Abschnitte ist deshalb entscheidend.

Datenschutz: Wo die Daten wirklich hingehen

Ein häufiges Argument für RAG lautet, dass die Dokumente im Unternehmen bleiben. Das stimmt nur zum Teil. Richtig ist: Das Sprachmodell wird mit Ihren Daten nicht trainiert, es „lernt“ also nichts dauerhaft dazu. Die gefundenen Textstellen werden bei jeder Anfrage aber an das Modell übermittelt. Läuft dieses bei einem Cloud-Anbieter, verlassen die Inhalte damit Ihr Unternehmen.

Für den Einsatz bedeutet das:

• Bei Cloud-Modellen braucht es einen Vertrag zur Auftragsverarbeitung nach Art. 28 DSGVO und eine Zusage, dass Eingaben nicht zum Training verwendet werden.
• Für besonders vertrauliche Daten lässt sich das Sprachmodell selbst betreiben, im eigenen Rechenzentrum oder bei einem europäischen Hoster.
• Die Suche sollte Berechtigungen berücksichtigen. Wer ein Dokument nicht öffnen darf, sollte es auch über den Assistenten nicht zu sehen bekommen.

Seit Februar 2025 verlangt außerdem der EU AI Act von Unternehmen, die KI-Systeme einsetzen, dass ihre Mitarbeitenden über ausreichende KI-Kompetenz verfügen (Art. 4). Eine Einführung sollte also auch Schulung und klare Nutzungsregeln umfassen.

Wie groß der Hunger der großen KI-Anbieter nach Daten ist, zeigt Karen Hao in ihrem Buch über OpenAI (Hao, 2025) – ein guter Grund, bewusst zu entscheiden, welche Daten wohin gehen.

Wo RAG im Alltag hilft

• Einarbeitung: Neue Mitarbeitende finden Antworten in Handbüchern und Prozessbeschreibungen, ohne Kolleginnen und Kollegen zu unterbrechen.
• Kundenservice: Anfragen lassen sich auf Basis von Produktdokumentation und bisherigen Tickets schneller beantworten.
• Richtlinien und Verträge: Fragen wie „Welche Kündigungsfrist gilt in Vertrag X?“ werden mit Verweis auf die Fundstelle beantwortet.
• Verteiltes Wissen: Informationen aus mehreren Abteilungen und Systemen werden über eine Oberfläche auffindbar.

Was bei der Einführung zählt

Die Qualität eines RAG-Systems hängt weniger vom Sprachmodell ab als von den Daten und der Suche. In der Praxis entscheiden vor allem:

• Datenqualität: Veraltete oder widersprüchliche Dokumente führen zu veralteten oder widersprüchlichen Antworten. Ohne Pflege der Quellen geht es nicht.
• Aufbereitung: Wie Dokumente zerlegt werden, beeinflusst die Trefferqualität stark. Tabellen, Scans und PDFs brauchen oft eigene Behandlung.
• Evaluierung: Vor dem Rollout sollte man mit echten Fragen aus dem Betrieb testen und messen, wie oft die Antworten stimmen.
• Quellenangaben: Jede Antwort sollte zeigen, woher sie stammt. Das schafft Vertrauen und macht Fehler sichtbar.

Ausblick

Aktuelle Entwicklungen gehen in Richtung sogenannter Agenten: Systeme, die nicht nur nachschlagen, sondern selbstständig mehrere Suchschritte ausführen, Quellen vergleichen oder Folgeaktionen anstoßen. Aus Sicht der Wirtschaftsinformatik ist das vor allem eine Frage der Prozessgestaltung: Wo darf ein System selbst handeln, und wo braucht es eine menschliche Freigabe?

Fazit

RAG macht Sprachmodelle für Unternehmen erst richtig nützlich, weil es sie mit dem eigenen Wissen verbindet und Antworten überprüfbar macht. Ein Selbstläufer ist es nicht: Datenqualität, Berechtigungen und Datenschutz entscheiden darüber, ob aus einem Prototyp ein Werkzeug wird, dem die Mitarbeitenden vertrauen.

Quellen

• Gao, Yunfan et al.: Retrieval-Augmented Generation for Large Language Models: A Survey. arXiv:2312.10997 (2023, überarbeitet 2024)
• Hao, Karen: Empire of AI: Dreams and Nightmares in Sam Altman’s OpenAI. Penguin Press (2025)
• Lewis, Patrick et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS 2020
• Liu, Nelson F. et al.: Lost in the Middle: How Language Models Use Long Contexts. Transactions of the ACL 12 (2024)
• Verordnung (EU) 2016/679 (DSGVO): EUR-Lex
• Verordnung (EU) 2024/1689 (KI-Verordnung, „AI Act“): EUR-Lex
• Zweig, Katharina: Weiß die KI, dass sie nichts weiß? Wofür wir Chatbots und KI-Agenten nutzen sollten, wo sie sich irren und wo wir aufpassen müssen. Heyne (2025)