# Wissens-KI mit RAG: Firmenwissen DSGVO-konform nutzbar machen

URL: https://andreasindorf.com/wissens-ki-rag-unternehmen/
Autor: Andreas Indorf · Veröffentlicht: 2026-11-07 · Aktualisiert: 2026-11-07 · Thema: Wissens-KI & Datenschutz

> Wie RAG funktioniert, warum Quellenbelege Halluzinationen eindämmen, was die DSGVO verlangt und woran Sie eine gute Wissens-KI im Unternehmen erkennen.

In fast jedem Unternehmen steckt das wichtigste Wissen in Handbüchern, Verträgen, Richtlinien, Tickets und E-Mails, verteilt auf Laufwerke, Wikis und Postfächer. Wer eine Antwort braucht, sucht lange oder fragt die Kollegin, die es „schon immer gewusst hat“. Ein allgemeiner KI-Chat hilft hier nicht, denn er kennt Ihre Dokumente nicht und erfindet im Zweifel eine plausible Antwort. Retrieval-Augmented Generation, kurz RAG, löst genau dieses Problem. Dieser Leitfaden erklärt, wie RAG funktioniert, worauf es beim Datenschutz ankommt und wie Sie eine Wissens-KI sicher einführen.

**Kurz gesagt:** RAG sucht zu jeder Frage zuerst die passenden Abschnitte in Ihren eigenen Dokumenten und lässt das Sprachmodell nur auf dieser Grundlage antworten, mit Quellenangabe. Dadurch werden Antworten überprüfbar und Halluzinationen deutlich seltener. DSGVO-konform wird eine Wissens-KI durch Hosting in der EU oder im eigenen Rechenzentrum, einen Vertrag zur Auftragsverarbeitung und Zugriffsrechte, die auch in der Suche gelten.

## Was RAG ist

Der Begriff stammt aus dem Forschungspapier [Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks](https://arxiv.org/abs/2005.11401) von Lewis und anderen aus dem Jahr 2020. Die Idee: Ein Sprachmodell verlässt sich nicht nur auf das Wissen, das beim Training in seinen Gewichten gelandet ist, sondern holt sich bei jeder Anfrage passende Textstellen aus einem externen, durchsuchbaren Index. Die Autoren zeigten, dass so spezifischere und faktentreuere Antworten entstehen als ohne Abruf.

Für Unternehmen hat das drei praktische Vorteile:

- **Aktualität:** Neue Dokumente sind sofort nutzbar, ohne ein Modell neu zu trainieren.
- **Nachvollziehbarkeit:** Jede Antwort kann auf die Stellen verweisen, aus denen sie stammt.
- **Kontrolle:** Sie bestimmen, welche Dokumente in den Index kommen und wer welche Inhalte sehen darf.

Begriffe wie Embedding oder Sprachmodell finden Sie kurz erklärt im [Glossar](https://andreasindorf.com/glossar/).

## Wie eine RAG-Pipeline funktioniert

Eine Wissens-KI besteht aus zwei Phasen: der Aufbereitung der Dokumente und der Beantwortung von Fragen.

### Phase 1: Dokumente aufbereiten

**Einlesen und Bereinigen.** PDFs, Office-Dateien, Wiki-Seiten und E-Mails werden in Text umgewandelt. Tabellen, Kopfzeilen und eingescannte Seiten sind hier die typischen Stolpersteine. Was beim Einlesen verloren geht, kann die KI später nicht finden.

**Chunking.** Die Texte werden in Abschnitte zerlegt, sogenannte Chunks. Zu große Chunks verwässern die Suche, zu kleine reißen Zusammenhänge auseinander. Bewährt hat sich, entlang der Dokumentstruktur zu schneiden, also nach Kapiteln, Absätzen oder Paragrafen, und Metadaten wie Dokumenttitel, Seite und Abschnitt mitzuführen.

**Embeddings.** Jeder Chunk wird von einem Embedding-Modell in einen Zahlenvektor übersetzt, der seine Bedeutung abbildet. Inhaltlich ähnliche Texte liegen im Vektorraum nah beieinander, auch wenn sie andere Wörter verwenden.

**Vektordatenbank.** Die Vektoren werden samt Metadaten in einer Vektordatenbank gespeichert. Qdrant zum Beispiel beschreibt sich in seiner [Dokumentation](https://qdrant.tech/documentation/overview/) als Vektorsuchdatenbank, die neben semantischer Suche auch lexikalische und hybride Suche unterstützt, nach Metadaten filtern kann und sich als Open Source auch im eigenen Rechenzentrum betreiben lässt.

### Phase 2: Fragen beantworten

1. Die Frage wird ebenfalls in einen Vektor übersetzt.
2. Die Vektordatenbank liefert die ähnlichsten Chunks, gefiltert nach den Rechten des Nutzers.
3. Optional sortiert ein Reranker die Treffer noch einmal nach Relevanz.
4. Das Sprachmodell erhält die Frage plus die gefundenen Abschnitte und die Anweisung, nur auf dieser Grundlage zu antworten.
5. Die Antwort wird mit Quellenangaben ausgeliefert, idealerweise bis auf Dokument, Seite und Abschnitt.

## Quellenbelege: das wichtigste Mittel gegen Halluzinationen

Sprachmodelle formulieren auch dann flüssig, wenn sie falsch liegen. RAG senkt dieses Risiko, beseitigt es aber nicht vollständig. Entscheidend sind drei Regeln:

- **Antwort nur aus Quellen.** Das Modell wird angewiesen, ausschließlich die gelieferten Abschnitte zu verwenden.
- **Ehrliches „Weiß ich nicht“.** Findet die Suche nichts Passendes, sagt die KI das, statt zu raten.
- **Prüfbarer Beleg.** Jede Aussage verweist auf die Fundstelle, sodass Nutzer mit einem Klick nachprüfen können.

Gerade der letzte Punkt verändert die Akzeptanz. Mitarbeitende müssen der KI nicht blind vertrauen, sie können sie kontrollieren. Das ist in Rechtsabteilungen, im Qualitätsmanagement und im Kundenservice oft die Voraussetzung dafür, dass das System überhaupt genutzt wird.

## Datenschutz und Hosting

Sobald personenbezogene Daten in Dokumenten stehen, und das ist fast immer der Fall, gilt die [DSGVO](https://eur-lex.europa.eu/eli/reg/2016/679/oj). Für eine Wissens-KI ergeben sich daraus vor allem diese Aufgaben:

- **Auftragsverarbeitung:** Mit jedem Dienstleister, der Daten verarbeitet, etwa dem Hosting- oder Modellanbieter, brauchen Sie einen Vertrag zur Auftragsverarbeitung.
- **Drittlandtransfer:** Verlassen Daten die EU, muss der Transfer abgesichert sein. Am einfachsten ist es, Index, Embeddings und Sprachmodell in der EU zu betreiben.
- **Zweckbindung und Löschung:** Gelöschte oder veraltete Dokumente müssen auch aus dem Index verschwinden.
- **Zugriffsrechte:** Wer ein Dokument im Original nicht sehen darf, darf es auch über die KI nicht sehen.

Der letzte Punkt wird häufig unterschätzt. Das OWASP-Projekt beschreibt unter [Vector and Embedding Weaknesses](https://genai.owasp.org/llmrisk/llm082025-vector-and-embedding-weaknesses/) genau diese Risiken: unzureichende Zugriffskontrollen, Datenabfluss zwischen Mandanten in gemeinsam genutzten Vektordatenbanken und manipulierte Inhalte, die in die Wissensbasis gelangen. Als Gegenmaßnahmen nennt es berechtigungsbewusste Vektorspeicher, die Prüfung von Dokumenten vor der Aufnahme und lückenlose Protokolle der Abrufe.

### Welche Betriebsform passt?

| Betriebsform | Kontrolle über Daten | Aufwand | Geeignet für |
|---|---|---|---|
| SaaS mit EU-Hosting | vertraglich abgesichert | gering | die meisten Unternehmen, schneller Start |
| Private Cloud in der EU | hoch, eigene Instanz | mittel | sensible Daten, eigene Sicherheitsvorgaben |
| On-Premise | vollständig, im eigenen Rechenzentrum | hoch | KRITIS, Kliniken, Kanzleien, Geheimschutz |

Welche Rolle digitale Souveränität dabei spielt, vertieft der Artikel [KI-Souveränität im Unternehmen](https://andreasindorf.com/ki-souveraenitaet-unternehmen/). Grundsätzliches zu Ethik und Datenschutz finden Sie unter [KI-Ethik und Datenschutz](https://andreasindorf.com/ki-ethik-datenschutz/).

## Woran Sie eine gute Wissens-KI erkennen

Wenn Sie Anbieter vergleichen oder selbst bauen, helfen diese Kriterien:

**Qualität der Quellenbelege.** Verweist die Antwort nur auf ein Dokument oder auf die konkrete Seite und den Abschnitt? Lässt sich der Beleg mit einem Klick öffnen?

**Rechte in der Suche.** Werden Berechtigungen aus Ihren Systemen übernommen und bei jeder Suche angewendet? Gibt es Anbindung an Ihr Identitätsmanagement per SSO, SAML oder SCIM?

**Modellwahl.** Sind Sie an ein Sprachmodell gebunden, oder können Sie je nach Datenklasse zwischen Anbietern wählen, etwa europäischen Modellen für besonders sensible Inhalte?

**Indexierung.** Wie schnell sind neue Dokumente durchsuchbar? Wie gut werden Tabellen, Scans und lange Dokumente verarbeitet?

**Antwortzeit unter Last.** Achten Sie nicht auf den Durchschnitt, sondern auf die langsamsten Antworten, etwa das 99. Perzentil. Eine KI, die gelegentlich zehn Sekunden braucht, wird nicht genutzt.

**Betriebsformen.** Ist ein Wechsel von SaaS zu On-Premise möglich, wenn sich Anforderungen ändern?

Eine allgemeine Checkliste für die Anbieterwahl bietet der Artikel [KI-Anbieter auswählen](https://andreasindorf.com/ki-anbieter-auswaehlen/).

## Der Einstieg in vier Schritten

### 1. Einen Wissensbereich auswählen

Starten Sie nicht mit „dem ganzen Laufwerk“, sondern mit einem abgegrenzten Bestand, zu dem viele Fragen gestellt werden, etwa Produkthandbücher für den Support oder interne Richtlinien für die Personalabteilung.

### 2. Datenbestand prüfen

Veraltete, doppelte und widersprüchliche Dokumente sind die häufigste Ursache für schlechte Antworten. Bereinigen Sie den Startbestand und legen Sie fest, wer Dokumente pflegt. Hinweise dazu im Artikel [KI-Datenstrategie](https://andreasindorf.com/ki-datenstrategie/).

### 3. Testfragen festlegen

Sammeln Sie 50 bis 100 echte Fragen mit den richtigen Antworten und Fundstellen. Daran messen Sie, ob die Wissens-KI die richtige Quelle findet und korrekt antwortet. Ohne solchen Testsatz bleibt jede Bewertung Bauchgefühl. Welche Kennzahlen Sie daraus ableiten, von Recall@k bis zur Zitiergenauigkeit, zeigt der Artikel [RAG-Qualität messen](https://andreasindorf.com/rag-evaluierung/).

### 4. Pilot mit echten Nutzern

Geben Sie die Wissens-KI einer kleinen Gruppe, sammeln Sie Feedback zu jeder Antwort und verbessern Sie Chunking, Suche und Anweisungen. Erst dann folgt der Ausbau auf weitere Bereiche. Wie sich eine Wissens-KI in eine breitere Wissensstrategie einfügt, beschreibt der Artikel [KI im Wissensmanagement](https://andreasindorf.com/ki-wissensmanagement/). Kombiniert mit Agenten wird daraus die Grundlage für automatisierte Abläufe: Ein Agent, der Kundenanfragen beantwortet oder Vorgänge vorbereitet, greift auf dieselbe belegte Wissensbasis zu. Wie Sie Agenten mit klaren Rechten und Freigaben einführen, beschreibt der Leitfaden [KI-Agenten im Unternehmen](https://andreasindorf.com/ki-agenten-unternehmen/).

## Typische Fehler bei Wissens-KI-Projekten

**Alles auf einmal indexieren.** Wer das gesamte Laufwerk in den Index lädt, holt sich veraltete Entwürfe, Dubletten und widersprüchliche Versionen ins System. Die KI findet dann zwar etwas, aber oft das Falsche. Ein kuratierter Startbestand liefert bessere Ergebnisse als ein vollständiger.

**Berechtigungen nachträglich lösen wollen.** Wenn Zugriffsrechte erst nach dem Pilot eingebaut werden, ist die Architektur meist nicht darauf ausgelegt. Rechte gehören von Anfang an in die Metadaten jedes Chunks und in jede Suchanfrage.

**Nur auf das Sprachmodell schauen.** Die meisten Qualitätsprobleme entstehen nicht beim Modell, sondern beim Einlesen und Zerlegen der Dokumente. Eine verlorene Tabelle oder ein unlesbarer Scan lässt sich durch kein noch so gutes Modell ausgleichen.

**Keine Pflegeverantwortung.** Eine Wissens-KI ist nur so aktuell wie ihre Dokumente. Legen Sie fest, wer neue Inhalte freigibt und veraltete entfernt, sonst sinkt die Antwortqualität schleichend. Wie Sie solche Rollen und Freigaben dauerhaft in Ihrer Organisation verankern, beschreibt der [Leitfaden zum KI-Department](https://andreasindorf.com/ki-department-leitfaden/).

## Aus meinen Produkten

Mit anirag.io habe ich eine DSGVO-konforme Wissens-KI gebaut, und die wichtigste Designentscheidung war der Quellenbeleg: Jede Antwort verweist bis auf Seite und Abschnitt, damit Nutzer sie prüfen können statt zu glauben. Als Vektordatenbank setze ich Qdrant ein. Ein LLM-Router wählt je nach Anforderung zwischen Anthropic, OpenAI EU, Mistral und Aleph Alpha, sodass sensible Inhalte nicht an jedes Modell gehen müssen. 12.000 PDFs sind in rund 30 Sekunden indexiert, die Antwortzeit liegt im 99. Perzentil unter 800 ms. Für Unternehmen mit Identitätsmanagement gibt es SSO, SAML und SCIM, für KRITIS, Kliniken und Kanzleien eine On-Prem-Variante. Meine Lehre daraus: Nutzer akzeptieren eine Wissens-KI nicht wegen kluger Formulierungen, sondern weil sie jede Aussage nachprüfen können.

Wenn Sie Ihr Firmenwissen auf diese Weise nutzbar machen wollen, finden Sie unter [Wissens-KI mit RAG](https://andreasindorf.com/leistungen/wissens-ki-rag/) mein Vorgehen.

## Häufig gestellte Fragen

### Was bedeutet RAG?

RAG steht für Retrieval-Augmented Generation. Das Verfahren sucht zu einer Frage zuerst passende Abschnitte in einer Wissensbasis und lässt das Sprachmodell dann auf dieser Grundlage antworten. So kann die KI Ihr Firmenwissen nutzen, ohne dass ein eigenes Modell trainiert werden muss.

### Verhindert RAG Halluzinationen vollständig?

Nein, aber es senkt das Risiko deutlich. Wenn das Modell nur aus gefundenen Quellen antworten darf, bei fehlenden Treffern ehrlich passt und jede Aussage belegt, lassen sich Fehler schnell erkennen. Ein Testsatz mit echten Fragen hilft, die Qualität laufend zu messen.

### Ist eine Wissens-KI mit RAG DSGVO-konform möglich?

Ja. Voraussetzungen sind eine Rechtsgrundlage für die Verarbeitung, Verträge zur Auftragsverarbeitung mit allen Dienstleistern, möglichst Hosting in der EU oder im eigenen Rechenzentrum, Löschkonzepte für den Index und Zugriffsrechte, die auch bei der Suche greifen.

### Brauche ich für RAG ein eigenes Sprachmodell?

Nein. RAG funktioniert mit bestehenden Sprachmodellen, weil das Firmenwissen bei jeder Anfrage aus dem Index geliefert wird. Sie müssen das Modell weder trainieren noch Ihre Dokumente an den Modellanbieter zum Training übergeben. Wichtig ist, dass der Anbieter vertraglich zusichert, Ihre Daten nicht für das Training zu verwenden.

### Was ist der Unterschied zwischen RAG und Fine-Tuning?

Beim Fine-Tuning wird ein Modell mit zusätzlichen Daten nachtrainiert, um Stil oder Fachsprache anzupassen. RAG lässt das Modell unverändert und liefert bei jeder Frage aktuelle Fakten aus Ihren Dokumenten. Für Firmenwissen, das sich ändert und belegt werden muss, ist RAG in der Regel die bessere Wahl.