# Human in the Loop: Freigabe-Tore für KI-Agenten richtig gestalten

URL: https://andreasindorf.com/human-in-the-loop-ki-agenten/
Autor: Andreas Indorf · Veröffentlicht: 2026-11-07 · Aktualisiert: 2026-11-07 · Thema: KI-Agenten & Automatisierung

> Wann KI-Agenten eine menschliche Freigabe brauchen, wie Sie Schwellen, Stichproben, Eskalation und Not-Aus gestalten und was Art. 14 AI Act verlangt.

KI-Agenten schreiben Angebote, beantworten Kundenmails, buchen Rechnungen und ändern Code. Je mehr sie selbst erledigen, desto wichtiger wird eine Frage, die in vielen Projekten erst nach dem ersten Fehler gestellt wird: An welcher Stelle entscheidet ein Mensch, und wie sorgen Sie dafür, dass diese Entscheidung mehr ist als ein Klick? Dieser Artikel zeigt, wann menschliche Freigabe nötig ist, wie Sie Freigabe-Tore gestalten und was der EU AI Act dazu sagt.

**Kurz gesagt:** Menschliche Freigabe gehört vor jede Aktion, die schwer umkehrbar ist, nach außen wirkt, Geld bewegt oder Menschen direkt betrifft. Wie streng geprüft wird, legen Sie pro Aufgabe über Autonomiestufen fest: vom Vorschlag über die Freigabe jeder Aktion und Stichproben bis zur Überwachung per Kennzahlen. Gute Freigabe-Tore haben klare Schwellen, Eskalationswege, einen Not-Aus und ein lückenloses Protokoll. Die größte Gefahr ist Automation Bias, also das gewohnheitsmäßige Durchwinken, und die lässt sich messen.

## Was „Human in the Loop“ wirklich bedeutet

Der Begriff wird oft so verwendet, als genüge irgendein Mensch irgendwo im Ablauf. Gemeint sind tatsächlich drei unterschiedliche Formen:

- **Human in the Loop:** Der Agent hält an, ein Mensch entscheidet, erst dann geht es weiter.
- **Human on the Loop:** Der Agent handelt selbst, ein Mensch überwacht und kann eingreifen.
- **Human out of the Loop:** Der Agent handelt ohne laufende menschliche Kontrolle.

Für Unternehmen ist die Frage nicht, welche Form die richtige ist, sondern welche Form für welche Aufgabe passt. Anthropic beschreibt in seinem Beitrag [Building effective agents](https://www.anthropic.com/engineering/building-effective-agents), dass Agenten an Kontrollpunkten oder bei Hindernissen für menschliches Feedback pausieren können, dass Abbruchbedingungen wie eine maximale Zahl an Durchläufen üblich sind und dass höhere Autonomie höhere Kosten und sich aufschaukelnde Fehler mit sich bringen kann. Ein Freigabe-Tor ist genau dieser Kontrollpunkt, bewusst gesetzt statt zufällig.

## Wann menschliche Freigabe nötig ist

Nicht jede Aktion braucht eine Freigabe. Zu viele Tore erzeugen Prüfmüdigkeit, zu wenige Kontrollverlust. Vier Kriterien helfen bei der Entscheidung:

1. **Umkehrbarkeit:** Lässt sich die Aktion mit vertretbarem Aufwand rückgängig machen? Eine interne Notiz ja, eine versendete Kundenmail nein.
2. **Außenwirkung:** Erreicht die Aktion Kunden, Lieferanten, Behörden oder die Öffentlichkeit?
3. **Finanzielle Wirkung:** Werden Zahlungen, Bestellungen, Gutschriften oder Preiszusagen ausgelöst?
4. **Betroffenheit von Menschen:** Betrifft die Entscheidung Bewerber, Mitarbeitende oder Kunden direkt?

Trifft eines dieser Kriterien in hohem Maß zu, gehört ein Freigabe-Tor davor. Das OWASP-Projekt nennt unter [Excessive Agency](https://genai.owasp.org/llmrisk/llm062025-excessive-agency/) die menschliche Freigabe folgenreicher Aktionen, etwa das Versenden oder Veröffentlichen von Inhalten oder das Löschen von Daten, ausdrücklich als Gegenmaßnahme. Ebenso wichtig: Die Berechtigung muss im Zielsystem geprüft werden, nicht durch das Sprachmodell selbst. Wo KI keine Aktionen auslöst, sondern nur Empfehlungen für Führungskräfte liefert, verschiebt sich die Frage von der Freigabe zur Nachvollziehbarkeit – dazu mehr im Beitrag zur [KI-Entscheidungsunterstützung](https://andreasindorf.com/ki-entscheidungsunterstuetzung/).

## Autonomiestufen: Freigabe pro Aufgabe dosieren

Bewährt hat sich eine Einteilung in vier Stufen, die Sie pro Aufgabe festlegen, nicht pro Agent. Derselbe Agent kann eine interne Zusammenfassung selbstständig erstellen und muss für eine Kundenmail trotzdem jede Freigabe einholen.

| Stufe | Agent | Mensch | Typisches Freigabe-Tor |
|---|---|---|---|
| 1 – Vorschlagen | erstellt Entwürfe und Analysen | entscheidet und führt aus | keine Aktion ohne Menschen |
| 2 – Vorbereiten mit Freigabe | bereitet die Aktion vollständig vor | prüft jede Aktion und gibt frei | Tor vor jeder Ausführung |
| 3 – Ausführen mit Stichprobe | handelt innerhalb fester Grenzen | prüft Stichproben und Ausnahmen | Tor bei Schwellenüberschreitung |
| 4 – Autonom mit Überwachung | handelt selbst, meldet Auffälligkeiten | überwacht Kennzahlen, greift bei Alarm ein | Alarm und Not-Aus |

Neue Aufgaben starten auf Stufe 1 oder 2. Hochgestuft wird erst, wenn die Qualität über einen festgelegten Zeitraum stabil ist; zurückgestuft wird sofort, wenn sie einbricht. Wie Sie die Stufen in den Gesamtrahmen für Agenten einordnen, beschreibt der Leitfaden [KI-Agenten im Unternehmen](https://andreasindorf.com/ki-agenten-unternehmen/).

## Freigabe-Tore gestalten: die fünf Bausteine

### 1. Schwellen

Schwellen machen aus einer pauschalen Freigabe eine gezielte. Typische Schwellen sind Beträge (Gutschriften über einem festen Wert), Empfänger (neue Kunden statt Bestandskunden), Inhalte (Preise, Fristen, rechtliche Aussagen) und Unsicherheit (der Agent hat keine passende Quelle gefunden). Unterhalb der Schwelle darf der Agent auf Stufe 3 handeln, oberhalb greift das Tor. Wie die Übergabe an Mitarbeitende am Telefon gelingt, beschreibt der [Leitfaden zu Voice Agents für Unternehmen](https://andreasindorf.com/voice-agents-unternehmen-guide/).

### 2. Stichproben

Auf Stufe 3 prüft ein Mensch nicht jede Aktion, sondern eine Stichprobe. Legen Sie den Anteil fest, ziehen Sie die Stichprobe zufällig und ergänzen Sie sie um gezielte Prüfungen auffälliger Fälle. Eine Stichprobe, die sich der Agent faktisch selbst aussucht, ist keine.

### 3. Eskalation

Jedes Tor braucht eine klare Antwort auf die Frage, was passiert, wenn niemand entscheidet. Legen Sie Vertretungen, Fristen und einen sicheren Standardzustand fest: Ohne Freigabe geht nichts raus. Für schwierige Fälle braucht es einen zweiten Weg, etwa zur Fachleitung oder zur Rechtsabteilung.

### 4. Not-Aus

Jeder Agent und das gesamte System müssen sich sofort anhalten lassen, ohne dass halbfertige Vorgänge in einem undefinierten Zustand hängen bleiben. Das heißt technisch: Aktionen sind so geschnitten, dass sie entweder vollständig oder gar nicht ausgeführt werden, und der Not-Aus ist getestet, nicht nur vorhanden.

### 5. Protokollierung

Jede Aktion, jede Freigabe, jede Ablehnung und jede Korrektur wird mit Zeitpunkt, Person und Begründung festgehalten. Das Protokoll ist Ihr Nachweis gegenüber Kunden, Prüfern, Datenschutz und Betriebsrat, und es ist die Datengrundlage für die Kennzahlen weiter unten. Wie die Mitbestimmung hier hineinspielt, erläutert der Artikel [KI und Betriebsrat](https://andreasindorf.com/ki-betriebsrat/).

## Was der EU AI Act verlangt

Der [EU AI Act](https://eur-lex.europa.eu/eli/reg/2024/1689/oj) regelt menschliche Aufsicht ausdrücklich für Hochrisiko-KI-Systeme, etwa in Personalentscheidungen oder bei der Kreditwürdigkeit. Zwei Artikel sind zentral:

**Artikel 14 (menschliche Aufsicht)** verlangt, dass Hochrisiko-Systeme so gestaltet sind, dass natürliche Personen sie während der Nutzung wirksam beaufsichtigen können. Die beaufsichtigenden Personen sollen unter anderem die Fähigkeiten und Grenzen des Systems verstehen, sich der möglichen Neigung bewusst bleiben, sich automatisch oder übermäßig auf die Ausgaben zu verlassen, die Ausgaben richtig interpretieren, im Einzelfall entscheiden können, das System nicht zu nutzen oder seine Ausgabe zu übergehen, und das System über einen „Stopp“-Knopf oder ein ähnliches Verfahren anhalten können.

**Artikel 26 (Pflichten der Betreiber)** richtet sich an Unternehmen, die solche Systeme einsetzen. Sie müssen die menschliche Aufsicht Personen übertragen, die über die nötige Kompetenz, Schulung und Befugnis verfügen, den Betrieb anhand der Gebrauchsanweisung überwachen und die automatisch erzeugten Protokolle, soweit sie unter ihrer Kontrolle stehen, mindestens sechs Monate aufbewahren. Artikel 12 verlangt ergänzend, dass Hochrisiko-Systeme Ereignisse über ihre Lebensdauer automatisch protokollieren können.

Zum Zeitpunkt: Durch die [Digital-Omnibus-Verordnung (EU) 2026/1744](https://eur-lex.europa.eu/eli/reg/2026/1744/oj) gelten die Hochrisiko-Pflichten für Systeme nach Anhang III ab dem 2. Dezember 2027 und für KI in regulierten Produkten nach Anhang I ab dem 2. August 2028.

Für die meisten Agenten im Backoffice, Marketing oder Vertrieb sind diese Artikel rechtlich nicht unmittelbar einschlägig. Sie beschreiben aber sehr präzise, was eine wirksame Aufsicht ausmacht, und sind deshalb ein guter Maßstab für jedes Freigabe-Tor. Den rechtlichen Rahmen im Detail erklärt der Leitfaden [EU AI Act in Deutschland](https://andreasindorf.com/eu-ai-act-deutschland/).

## Die unterschätzte Gefahr: Automation Bias

Ein Freigabe-Tor schützt nur, wenn der Mensch wirklich prüft. Genau das wird mit der Zeit schwieriger. Die systematische Übersichtsarbeit [Automation bias: a systematic review of frequency, effect mediators, and mitigators](https://academic.oup.com/jamia/article/19/1/121/732254) von Goddard, Roudsari und Wyatt definiert Automation Bias als Neigung, sich zu sehr auf Automatisierung zu verlassen. Verstärkend wirken laut der Arbeit unter anderem Vertrauen in das System, hohe Arbeitslast, komplexe Aufgaben und Zeitdruck. Als Gegenmittel nennt sie Schulung, klare Verantwortlichkeit der Nutzer und Gestaltungsentscheidungen, etwa die Anzeige von Konfidenzangaben und das Präsentieren von Informationen statt direkter Empfehlungen.

Für Freigabe-Tore folgt daraus:

- **Begründung statt nur Ergebnis zeigen:** Der Prüfer sieht, auf welche Quellen und Daten sich der Agent stützt, nicht nur den fertigen Entwurf.
- **Unsicherheit sichtbar machen:** Fälle ohne passende Quelle oder mit widersprüchlichen Daten werden markiert.
- **Prüfzeit einplanen:** Wer 200 Freigaben am Tag nebenbei erledigen soll, prüft nicht mehr.
- **Verantwortung benennen:** Jede Freigabe ist einer Person zugeordnet, nicht einer Gruppe.
- **Kontrollfälle einstreuen:** Gelegentlich bewusst fehlerhafte Testfälle zeigen, ob Fehler noch erkannt werden.

## Kennzahlen für Freigabe-Tore

Ob ein Tor funktioniert, sehen Sie nicht am Gefühl, sondern an Zahlen aus dem Protokoll:

| Kennzahl | Was sie zeigt | Warnsignal |
|---|---|---|
| Korrekturquote | Anteil der Freigaben mit inhaltlicher Änderung | sinkt auf null bei unveränderter Fehlerlage |
| Ablehnungsquote | Anteil abgelehnter Vorschläge | dauerhaft hoch: Agent oder Stufe passt nicht |
| Prüfdauer pro Freigabe | Zeit zwischen Vorlage und Entscheidung | wenige Sekunden bei komplexen Fällen |
| Durchlaufzeit bis Freigabe | Wartezeit im Tor | steigt: Engpass, Vertretung fehlt |
| Fehler nach Freigabe | Fehler, die trotz Freigabe beim Kunden ankommen | jeder Fall ist ein Hinweis auf Automation Bias |
| Kontrollfall-Erkennung | Anteil erkannter Testfehler | sinkt über die Zeit |

Eine dauerhaft niedrige Korrekturquote kann zweierlei bedeuten: Der Agent ist gut genug für eine höhere Stufe, oder die Prüfer winken durch. Erst die Kontrollfälle und die Fehler nach Freigabe zeigen, welches von beiden zutrifft. Wie Sie bei Wissens-KI vergleichbar sauber messen, beschreibt der Artikel [RAG-Qualität messen](https://andreasindorf.com/rag-evaluierung/). Ein methodischer Rahmen für das Risikomanagement insgesamt ist das freiwillige [AI Risk Management Framework des NIST](https://www.nist.gov/itl/ai-risk-management-framework).

## Aus meinen Produkten

Im Unternehmens-Cockpit, mit dem ich mein eigenes Unternehmen steuere, gilt eine Regel ohne Ausnahme: Ein Freigabe-Tor hält immer ein Mensch. Kein Agent gibt einen anderen Agenten frei. Die Designentscheidung dahinter ist schlicht: Sobald ein Modell ein anderes kontrolliert, steht am Ende niemand mehr in der Verantwortung. Jede Aufgabe hat eine von vier Autonomiestufen, ein Not-Aus hält jeden Spezialisten sofort an, und das AI-Act-Protokoll hält fest, wer wann was freigegeben oder abgelehnt hat. Die wichtigste Lehre aus dem Betrieb: Das Protokoll ist nicht nur Nachweis, sondern Steuerungsinstrument. Erst aus ihm lässt sich ablesen, ob eine Aufgabe eine Stufe höher darf oder ob die Prüfung zur Routine geworden ist.

Wie sich das in einer Organisation mit vielen Agenten verankern lässt, beschreibt der [Leitfaden zum KI-Department](https://andreasindorf.com/ki-department-leitfaden/); mein Vorgehen finden Sie unter [KI-Department](https://andreasindorf.com/leistungen/ki-department/).

## Häufig gestellte Fragen

### Was ist ein Freigabe-Tor bei KI-Agenten?

Ein Freigabe-Tor ist ein fester Punkt im Ablauf, an dem der Agent anhält und ein Mensch prüft und entscheidet. Es gehört vor jede Aktion, die schwer umkehrbar ist, nach außen wirkt, Geld bewegt oder Menschen direkt betrifft.

### Schreibt der EU AI Act Human in the Loop vor?

Für Hochrisiko-KI-Systeme verlangt Artikel 14 eine wirksame menschliche Aufsicht, einschließlich der Möglichkeit, Ausgaben zu übergehen und das System anzuhalten. Artikel 26 verpflichtet Betreiber, die Aufsicht kompetenten Personen zu übertragen und Protokolle mindestens sechs Monate aufzubewahren. Für die meisten anderen Agenten ist das keine Pflicht, aber ein guter Maßstab.

### Wie verhindere ich, dass Freigaben nur noch durchgeklickt werden?

Zeigen Sie Begründungen und Quellen statt nur Ergebnisse, markieren Sie unsichere Fälle, planen Sie realistische Prüfzeit ein, ordnen Sie jede Freigabe einer Person zu und streuen Sie gelegentlich Kontrollfälle mit bewussten Fehlern ein. Die Erkennungsrate dieser Fälle zeigt, ob noch geprüft wird.

### Wann darf ein Agent eine höhere Autonomiestufe bekommen?

Wenn die Korrektur- und Fehlerquote über einen vorher festgelegten Zeitraum stabil niedrig ist und die Kontrollfälle zeigen, dass die Prüfer Fehler weiterhin erkennen. Hochgestuft wird pro Aufgabe, nicht pro Agent, und bei Qualitätseinbrüchen wird sofort zurückgestuft.

### Kann ein KI-Agent die Freigabe für einen anderen Agenten übernehmen?

Ein zweiter Agent kann vorprüfen und Auffälligkeiten markieren. Die Freigabe selbst sollte bei einem Menschen bleiben, weil sonst niemand mehr die Verantwortung trägt und die Aufsicht im Sinne von Artikel 14 AI Act nicht durch natürliche Personen erfolgt.