RAG-Qualität messen: So prüfen Sie, ob Ihre Wissens-KI richtig antwortet

Die meisten Wissens-KI-Projekte werden nach Gefühl abgenommen: Ein paar Kolleginnen stellen Fragen, die Antworten klingen gut, das System geht live. Drei Monate später häufen sich Beschwerden, und niemand kann sagen, ob die Qualität gesunken ist oder nur die Fragen schwieriger geworden sind. Eine Wissens-KI auf Basis von Retrieval-Augmented Generation (RAG) lässt sich aber messen, und zwar in jeder ihrer Stufen. Dieser Artikel zeigt, welche Kennzahlen Sie brauchen, wie Sie ein belastbares Testset aufbauen und wie Sie Qualität im Betrieb halten.

Kurz gesagt: Messen Sie Suche und Antwort getrennt. Für die Suche zeigen Recall@k und MRR, ob die richtigen Abschnitte gefunden werden. Für die Antwort zeigen Faithfulness, Answer Relevance und Zitiergenauigkeit, ob das Modell sich an die Quellen hält, die Frage trifft und korrekt belegt. Grundlage ist ein Golden Set aus echten Fragen mit geprüften Antworten und Fundstellen, das bei jeder Änderung als Regressionstest läuft und durch menschliche Stichproben und Monitoring im Betrieb ergänzt wird.

Warum RAG eigene Qualitätsmaße braucht

Eine RAG-Pipeline besteht aus zwei Teilen, die unabhängig voneinander scheitern können. Das ursprüngliche RAG-Paper von Lewis und anderen beschreibt die Kombination aus einem Sprachmodell und einem durchsuchbaren Index, aus dem bei jeder Anfrage passende Textstellen geholt werden. Wenn die Antwort falsch ist, gibt es zwei grundverschiedene Ursachen: Die Suche hat die richtige Stelle nicht gefunden, oder das Modell hat die gefundene Stelle falsch oder gar nicht genutzt.

Ein einzelner Gesamtwert für „gute Antworten“ hilft deshalb wenig. Er sagt Ihnen nicht, ob Sie am Chunking, am Embedding-Modell, am Reranker oder an der Anweisung an das Sprachmodell arbeiten müssen. Das Paper zum Bewertungsframework RAGAS trennt genau diese Dimensionen: ob die Suche relevante und fokussierte Abschnitte liefert, ob das Modell diese Abschnitte treu verwendet und wie gut die erzeugte Antwort insgesamt ist.

Wie RAG grundsätzlich funktioniert und worauf es beim Datenschutz ankommt, erklärt der Leitfaden Wissens-KI mit RAG im Unternehmen. Hier geht es um die Frage danach: Woran erkennen Sie, dass das System gut genug ist?

Die Metriken im Überblick

Stufe	Metrik	Frage, die sie beantwortet	Braucht Referenz?
Suche	Recall@k	Ist die richtige Fundstelle unter den ersten k Treffern?	ja, erwartete Fundstelle
Suche	MRR	Wie weit oben steht der erste richtige Treffer?	ja, erwartete Fundstelle
Suche	Context Precision	Wie viel vom gelieferten Kontext ist tatsächlich relevant?	je nach Variante
Antwort	Faithfulness / Groundedness	Ist jede Aussage durch die gelieferten Abschnitte gedeckt?	nein
Antwort	Answer Relevance	Beantwortet die Antwort die gestellte Frage?	nein
Antwort	Korrektheit	Stimmt die Antwort mit der geprüften Musterantwort überein?	ja, Musterantwort
Antwort	Zitiergenauigkeit	Belegen die angegebenen Quellen die Aussage wirklich?	teilweise

Suche: Recall@k und MRR

Recall@k misst, bei wie vielen Testfragen die erwartete Fundstelle unter den ersten k gelieferten Abschnitten ist. Wenn Ihr Sprachmodell die besten fünf Abschnitte erhält, ist Recall@5 die entscheidende Zahl: Was dort nicht auftaucht, kann das Modell nicht verwenden. Ein niedriger Recall@k ist ein Hinweis auf Probleme beim Einlesen, beim Chunking oder beim Embedding-Modell.

MRR (Mean Reciprocal Rank) bewertet die Position des ersten richtigen Treffers. Steht er auf Platz 1, zählt er 1, auf Platz 2 zählt er 0,5, auf Platz 4 zählt er 0,25. Der Mittelwert über alle Testfragen zeigt, ob die richtige Stelle zuverlässig oben landet. Das ist wichtig, weil Sie mit einem guten Ranking weniger Abschnitte mitschicken müssen, was Kosten und Antwortzeit senkt und dem Modell weniger irrelevanten Kontext zumutet.

Ergänzend misst Context Recall, wie vollständig der gelieferte Kontext die Informationen der Musterantwort abdeckt. Die Dokumentation von Ragas zu Context Recall betont, dass diese Metrik immer eine Referenz zum Vergleich braucht.

Antwort: Faithfulness, Relevanz, Korrektheit

Faithfulness, oft auch Groundedness genannt, ist die wichtigste Metrik gegen Halluzinationen. Laut Ragas-Dokumentation zu Faithfulness wird die Antwort in einzelne Aussagen zerlegt, jede Aussage wird gegen den gelieferten Kontext geprüft, und der Wert ist der Anteil der gedeckten Aussagen an allen Aussagen, auf einer Skala von 0 bis 1. Eine Antwort mit zwei Aussagen, von denen nur eine im Kontext steht, erhält 0,5.

Answer Relevance prüft, ob die Antwort die gestellte Frage trifft. Eine Antwort kann vollständig belegt und trotzdem nutzlos sein, wenn sie an der Frage vorbeigeht.

Korrektheit vergleicht die Antwort mit Ihrer geprüften Musterantwort. Sie ist die Metrik, die Fachbereiche am besten verstehen, braucht aber ein gepflegtes Testset.

Zitiergenauigkeit

Eine Quellenangabe ist nur so viel wert wie ihre Genauigkeit. Prüfen Sie zwei Dinge getrennt: Stützt die zitierte Stelle die Aussage tatsächlich (Präzision)? Und ist jede Aussage überhaupt belegt (Vollständigkeit)? Dass das kein Randproblem ist, zeigt das Benchmark-Paper ALCE zur Textgenerierung mit Zitaten: Selbst die besten untersuchten Modelle hatten dort auf einem der Datensätze in der Hälfte der Fälle keine vollständige Belegung ihrer Aussagen. Zitiergenauigkeit gehört deshalb als eigene Kennzahl in jede Abnahme, gerade in Rechtsabteilung, Qualitätsmanagement und Kundenservice.

Das Golden Set: Ihr wichtigstes Werkzeug

Ohne Testset bleibt jede Bewertung Bauchgefühl. Ein Golden Set ist eine Sammlung von Fragen mit geprüften Antworten und den Fundstellen, aus denen sie stammen.

Echte Fragen statt erfundener. Sammeln Sie Fragen aus Tickets, E-Mails, Suchprotokollen und Gesprächen mit dem Fachbereich. Erfundene Fragen sind meist zu sauber formuliert und passen zu gut zu den Dokumenten.

Fundstelle mit angeben. Zu jeder Frage gehört nicht nur die richtige Antwort, sondern auch Dokument, Seite und Abschnitt. Nur so können Sie Recall@k und MRR berechnen.

Schwierige Fälle bewusst aufnehmen. Fragen, deren Antwort über mehrere Dokumente verteilt ist; Fragen zu Tabellen und Scans; Fragen, auf die es im Bestand keine Antwort gibt. Bei Letzteren ist das richtige Ergebnis ein ehrliches „Dazu finde ich nichts“.

Größe und Pflege. Für den Start reichen 50 bis 100 gut ausgewählte Fragen. Wichtiger als die Menge ist, dass das Set mit dem Dokumentenbestand mitwächst und dass ein Fachverantwortlicher die Musterantworten freigibt.

Automatische Bewertung und Mensch in der Schleife

Viele Metriken, etwa Faithfulness und Answer Relevance, werden heute mit einem Sprachmodell als Bewerter berechnet. Das RAGAS-Paper zeigt, dass solche Metriken ohne menschliche Annotationen auskommen können, was schnelle und häufige Tests erst möglich macht. Ein Sprachmodell als Richter kann sich aber selbst irren.

Bewährt hat sich deshalb ein zweistufiges Vorgehen:

1. Automatisch und vollständig: Jede Änderung läuft gegen das gesamte Golden Set, die Metriken werden automatisch berechnet.
2. Menschlich und stichprobenartig: Fachleute bewerten regelmäßig eine Stichprobe, besonders Antworten mit niedrigen Werten und Fälle, in denen automatische Bewertung und Nutzerfeedback auseinanderlaufen.

Die menschliche Bewertung dient zugleich als Kalibrierung: Wenn der automatische Richter Antworten gut bewertet, die Fachleute ablehnen, ist der Richter das Problem. Wie Sie menschliche Prüfschritte grundsätzlich so gestalten, dass sie nicht zum Abnicken werden, beschreibt der Artikel Human in the Loop für KI-Agenten.

Regressionstests: Qualität bei jeder Änderung absichern

Eine Wissens-KI ändert sich ständig: neue Dokumente, ein anderes Chunking, ein neues Embedding-Modell, eine angepasste Anweisung, ein Modellwechsel beim Anbieter. Jede dieser Änderungen kann einzelne Antworten verbessern und andere verschlechtern.

Behandeln Sie das Golden Set deshalb wie eine Testsuite in der Softwareentwicklung:

• Vor jeder Änderung einen Referenzlauf mit allen Metriken festhalten.
• Nach der Änderung denselben Lauf wiederholen und Abweichungen je Metrik und je Frage vergleichen.
• Schwellen festlegen, unter die keine Metrik fallen darf, etwa für Faithfulness und Recall@k. Wird eine Schwelle verletzt, geht die Änderung nicht live.
• Einzelfälle prüfen, nicht nur Durchschnitte. Ein stabiler Mittelwert kann verdecken, dass zehn Fragen besser und zehn andere schlechter geworden sind.

Wie sich solche Tests in eine allgemeine Teststrategie für KI-Systeme einfügen, zeigt der Artikel KI-Testing-Strategie.

Monitoring im Betrieb

Das Golden Set prüft bekannte Fragen. Im Betrieb kommen unbekannte. Ergänzen Sie die Tests deshalb um laufende Beobachtung:

• Nutzerfeedback zu jeder Antwort, mindestens Daumen hoch oder runter, besser mit Begründung.
• Anteil der „Weiß ich nicht“-Antworten: Steigt er, fehlen Dokumente. Sinkt er auf null, rät das System womöglich.
• Fragen ohne passende Treffer sammeln: Sie zeigen Wissenslücken und sind die besten Kandidaten für neue Golden-Set-Einträge.
• Antwortzeit als Perzentil, nicht als Durchschnitt.
• Stichproben mit automatischer Faithfulness-Bewertung auf echten Anfragen.

Das freiwillige AI Risk Management Framework des NIST ordnet solches Messen als eigene Kernfunktion ein, neben Steuern, Einordnen und Behandeln von Risiken; das ergänzende Profil für generative KI (NIST AI 600-1) adressiert deren besondere Risiken. Für den laufenden Betrieb von Modellen bietet der Artikel MLOps-Strategie den organisatorischen Rahmen.

Typische Fehlerbilder und ihre Ursachen

Symptom	Wahrscheinliche Ursache	Wo Sie ansetzen
Recall@k niedrig, Faithfulness hoch	Suche findet die Stelle nicht, Modell bleibt aber ehrlich	Einlesen, Chunking, Embedding, hybride Suche
Recall@k hoch, Faithfulness niedrig	Modell ergänzt eigenes Wissen	Anweisung, Modellwahl, Temperatur, Antwortformat
Recall@k hoch, MRR niedrig	richtige Stelle zu weit unten	Reranker, Metadaten-Filter
Antworten belegt, aber am Thema vorbei	Frage missverstanden oder zu breiter Kontext	Anfrage-Umformulierung, weniger Abschnitte
Zitate zeigen auf falsche Stellen	Quellenangabe nicht an Aussage gebunden	Zitierlogik pro Aussage, Seiten- und Abschnittsmetadaten
Qualität sinkt schleichend	veraltete oder doppelte Dokumente	Pflegeverantwortung, Löschung aus dem Index

Die häufigste Erkenntnis aus dieser Tabelle: Die meisten Probleme liegen vor dem Sprachmodell, beim Einlesen und Zerlegen der Dokumente. Wer nur das Modell austauscht, behandelt oft das falsche Symptom. Wie Sie den Dokumentenbestand grundsätzlich pflegen, beschreibt der Artikel KI im Wissensmanagement.

Aus meinen Produkten

Bei anirag.io habe ich den Quellenbeleg bis auf Seite und Abschnitt zur Kernfunktion gemacht, und das hat die Evaluierung verändert. Weil jede Antwort auf eine konkrete Stelle zeigt, lässt sich Zitiergenauigkeit pro Aussage prüfen statt pro Dokument, und Fachleute können eine falsche Antwort in Sekunden der Suche oder dem Modell zuordnen. Die zweite Lehre betrifft die Antwortzeit: Ich messe sie im 99. Perzentil, und dort liegt sie unter 800 ms. Der Durchschnitt hätte die langsamen Ausreißer verdeckt, an denen Nutzer ein System tatsächlich messen.

Wenn Sie Ihre Wissens-KI mit einem belastbaren Testset absichern wollen, finden Sie unter Wissens-KI mit RAG mein Vorgehen.

Häufig gestellte Fragen

Welche Metrik ist für eine Wissens-KI am wichtigsten?

Es gibt nicht die eine Metrik. Für die Suche ist Recall@k zentral, weil das Modell nur verwenden kann, was gefunden wurde. Für die Antwort ist Faithfulness am wichtigsten, weil sie zeigt, ob das Modell bei den Quellen bleibt. Erst beide zusammen zeigen, wo ein Fehler entsteht.

Wie groß muss ein Golden Set sein?

Für den Start reichen 50 bis 100 sorgfältig ausgewählte echte Fragen mit geprüften Antworten und Fundstellen. Wichtiger als die Größe ist die Mischung: einfache Fragen, Fragen über mehrere Dokumente, Fragen zu Tabellen und Fragen ohne Antwort im Bestand.

Kann ein Sprachmodell die Antworten zuverlässig bewerten?

Für schnelle, häufige Tests ja, als alleinige Instanz nein. Automatische Bewerter können sich irren. Kalibrieren Sie sie regelmäßig mit menschlichen Stichproben und prüfen Sie besonders die Fälle, in denen automatische Bewertung und Nutzerfeedback auseinanderlaufen.

Wie oft sollte ich die Evaluierung laufen lassen?

Bei jeder Änderung an Dokumentenbestand, Chunking, Embedding-Modell, Anweisung oder Sprachmodell als Regressionstest. Zusätzlich sollte das Monitoring im Betrieb laufend Feedback, Antwortzeiten und Fragen ohne Treffer erfassen.

Was tun, wenn die Faithfulness niedrig ist?

Prüfen Sie zuerst, ob die Suche die richtigen Abschnitte liefert. Ist das der Fall, liegt das Problem beim Modell: Schärfen Sie die Anweisung, nur aus dem Kontext zu antworten, verlangen Sie Belege pro Aussage und lassen Sie das System bei fehlenden Treffern ehrlich passen statt zu raten.