KI-Ethik und Datenschutz: Was Unternehmen 2025 wissen müssen

Ich erlebe in Gesprächen mit Unternehmen immer wieder dasselbe Muster: KI-Projekte werden technisch aufgesetzt, Use Cases definiert, Piloten gestartet – und dann kommt irgendwann die Frage nach dem Datenschutz. Meistens zu spät, meistens als Nachgedanke. Das ist ein strukturelles Problem, das sich mit dem EU AI Act noch verschärfen wird. Wer heute KI einsetzt oder plant, KI einzuführen, muss Regulierung und Ethik von Anfang an mitdenken – nicht als Bremse, sondern als Grundlage für nachhaltigen Betrieb.

Der EU AI Act: Was er ist und was er bedeutet

Der EU AI Act ist die weltweit erste umfassende gesetzliche Regulierung von Künstlicher Intelligenz. Er wurde im August 2024 im Amtsblatt der EU veröffentlicht und tritt schrittweise in Kraft. Was das konkret bedeutet:

August 2024: Inkrafttreten des Gesetzes
Februar 2025: Verbote für inakzeptable Risikosysteme gelten
August 2025: Anforderungen für General Purpose AI Models (GPAI) greifen
August 2026: Vollständige Anwendung, insbesondere für Hochrisiko-KI-Systeme

Der Act gilt für jeden, der KI-Systeme in der EU einsetzt, entwickelt oder in den Markt bringt – unabhängig davon, wo das Unternehmen seinen Sitz hat. Ein US-amerikanischer Softwareanbieter, dessen Tool in deutschen Unternehmen genutzt wird, fällt genauso unter den AI Act wie ein mittelständischer Maschinenbauer aus Baden-Württemberg.

Risikoklassifizierung: Vier Kategorien, unterschiedliche Pflichten

Das zentrale Konzept des EU AI Act ist die risikobasierte Klassifizierung von KI-Systemen. Je höher das potenzielle Risiko, desto strenger die Anforderungen.

Verbotene KI-Praktiken

Seit Februar 2025 sind bestimmte KI-Anwendungen schlicht untersagt. Dazu gehören:

Social Scoring durch staatliche Stellen – Systeme, die Menschen anhand ihres Verhaltens bewerten und daraus Konsequenzen ableiten
Biometrische Echtzeit-Fernüberwachung im öffentlichen Raum durch Behörden (mit engen Ausnahmen)
Manipulation von Menschen durch unterschwellige Techniken, die das bewusste Entscheiden aushebeln
Ausnutzung von Schwächen bestimmter Personengruppen (z. B. Kinder, psychisch Erkrankte)
Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen

Für private Unternehmen sind die meisten dieser Verbote keine direkte Herausforderung. Relevant wird es bei Videoüberwachungssystemen, Zugangskontrolle und bestimmten HR-Automatisierungen.

Hochrisiko-KI-Systeme

Das ist die Kategorie, die für die meisten Unternehmen die meiste Aufmerksamkeit erfordert. Hochrisiko-KI umfasst unter anderem:

KI in kritischer Infrastruktur (Energie, Wasser, Transport)
Biometrische Identifikationssysteme
KI in Bildung und Berufsausbildung (Bewertung, Zulassung)
KI-gestützte Bewerberselektion und Personalentscheidungen
KI in der Kreditvergabe und Versicherungsbewertung
KI im Gesundheitswesen (Diagnostik, Behandlungsplanung)
KI in der Strafverfolgung und Justiz

Wer solche Systeme einsetzt, muss umfangreiche Compliance-Anforderungen erfüllen: Risikobewertung, technische Dokumentation, Datenqualitätsnachweise, menschliche Aufsicht, Konformitätsbewertung, Registrierung in einer EU-Datenbank.

Begrenzte Risiko-KI

Systeme, die mit Menschen interagieren – Chatbots, KI-generierte Inhalte, Deepfakes – unterliegen Transparenzpflichten. Nutzer müssen wissen, dass sie mit einer KI kommunizieren. Wer einen Kundenservice-Chatbot betreibt, muss das klar kennzeichnen.

Minimales Risiko

Der Großteil der heute eingesetzten KI fällt hierunter: Spam-Filter, Empfehlungssysteme, einfache Automatisierungen. Hier gibt es keine spezifischen Pflichten über bestehende Gesetze hinaus.

DSGVO und KI: Das ungelöste Spannungsfeld

Der EU AI Act ist neu. Die DSGVO gilt schon seit 2018 – und ihre Implikationen für KI-Systeme werden noch immer vielfach unterschätzt.

Trainingsdaten und Rechtmäßigkeit

Wer ein KI-Modell mit personenbezogenen Daten trainiert, braucht eine Rechtsgrundlage. Das klingt selbstverständlich, ist es in der Praxis aber oft nicht. Typische Problemfälle:

Kundendaten aus dem CRM werden ohne explizite Einwilligung zum Training genutzt
Mitarbeiterdaten fließen in HR-Analysemodelle, ohne dass die Betroffenen informiert wurden
Webscraping für Trainingsdaten schließt personenbezogene Inhalte ein

Für den Einsatz von Cloud-KI-APIs (OpenAI, Azure, Claude) gilt: Prüfen Sie die Auftragsverarbeitungsverträge (AVV). Werden Ihre Eingabedaten zum Training des Modells verwendet? Bei den meisten Enterprise-Angeboten nicht – aber bei Consumer-Produkten oft schon. Das ist ein Unterschied, den viele nicht kennen.

Recht auf Löschung und KI

Das Auskunfts- und Löschrecht unter der DSGVO kollidiert mit KI-Systemen auf eine Weise, die noch nicht vollständig gerichtlich geklärt ist. Wenn ein Modell auf Basis von Daten einer Person trainiert wurde, die nun Löschung beantragt: Wie "vergisst" ein Modell? Technisch ist das komplex; rechtlich ist es eine offene Baustelle. Unternehmen, die eigene Modelle trainieren, sollten das bei der Architekturentscheidung berücksichtigen.

Automatisierte Entscheidungen und Artikel 22

Artikel 22 DSGVO schränkt vollautomatisierte Entscheidungen mit rechtlicher oder erheblicher Auswirkung auf Personen stark ein. Wer also ein KI-System einsetzt, das automatisch Kreditanträge ablehnt, Bewerbungen aussortiert oder Versicherungsprämien berechnet, braucht entweder eine explizite Einwilligung, eine vertragliche Notwendigkeit oder eine gesetzliche Grundlage – und muss in jedem Fall eine menschliche Überprüfung ermöglichen.

Automatisierte Ablehnung eines Kreditantrags auf Basis eines KI-Scores, ohne dass ein Mensch die Entscheidung überprüfen kann – das ist nicht DSGVO-konform. Punkt.

Bias und Diskriminierungsrisiken: Das stille Problem

KI-Modelle lernen aus historischen Daten. Wenn diese Daten systematische Verzerrungen enthalten – und das tun sie fast immer –, reproduziert und verstärkt die KI diese Verzerrungen.

Bekannte Beispiele aus der Praxis:

Bewerbungsscreening-KI, die männliche Kandidaten bevorzugt, weil die Trainingsdaten aus einer branchentypisch männlich geprägten Vergangenheit stammen
Kreditscoring-Modelle, die Stadtteile mit hohem Migrationsanteil systematisch schlechter bewerten
Medizinische Bilderkennungssysteme, die bei dunklerer Hautfarbe schlechtere Erkennungsraten liefern

Das ist nicht nur ein ethisches, sondern auch ein rechtliches Problem. Das Allgemeine Gleichbehandlungsgesetz (AGG) in Deutschland verbietet Diskriminierung aufgrund von Herkunft, Geschlecht, Religion, Alter oder Behinderung – unabhängig davon, ob ein Mensch oder eine KI diskriminiert.

Was Unternehmen tun sollten: Bias-Audits regelmäßig durchführen, Trainingsdaten auf systematische Verzerrungen prüfen und KI-Outputs auf Diskriminierungsmuster monitoren. Das ist kein einmaliger Check, sondern ein kontinuierlicher Prozess.

KI-Governance im Unternehmen: Strukturen, die funktionieren

Compliance ist keine einmalige Checkliste. Sie braucht organisatorische Strukturen, die KI-Risiken dauerhaft managen.

Was eine funktionsfähige KI-Governance umfasst:

KI-Inventar: Welche KI-Systeme sind im Einsatz? Welche sind in Planung? Wer ist verantwortlich?
Risikoklassifizierung: Ordnen Sie jedes System in die AI-Act-Kategorien ein. Das ist die Grundlage für alle weiteren Maßnahmen.
Verantwortlichkeiten: Wer ist AI Governance Owner? In kleinen Unternehmen kann das der Datenschutzbeauftragte oder ein IT-Verantwortlicher sein; in größeren braucht es eine dedizierte Rolle.
Prozess für neue KI-Tools: Bevor ein neues KI-Tool eingeführt wird, muss eine Mindestprüfung stattfinden – Datenschutz-Folgenabschätzung bei Bedarf, Risikoklassifizierung, Vertragscheck.
Monitoring und Auditing: Laufende Überwachung der KI-Performance und Compliance – nicht nur zum Zeitpunkt der Einführung.

Kein Mittelständler braucht dafür eine zehnköpfige Compliance-Abteilung. Aber es braucht klare Zuständigkeiten, dokumentierte Prozesse und einen ehrlichen Blick auf das, was tatsächlich im Einsatz ist.

Transparenzpflichten gegenüber Nutzern

Neben dem AI Act gibt es schon heute konkrete Transparenzanforderungen:

Chatbots und virtuelle Assistenten müssen als KI erkennbar sein – spätestens wenn der Nutzer danach fragt
KI-generierte Inhalte (Texte, Bilder, Audio, Video) müssen als solche gekennzeichnet werden
Profilbildung und personalisierte Werbung auf Basis von KI-Auswertungen muss in Datenschutzinformationen offengelegt werden

Das bedeutet in der Praxis: Überprüfen Sie Ihre Datenschutzerklärung. Wenn Sie KI-Tools einsetzen, die personenbezogene Daten verarbeiten, muss das dort stehen – welche Tools, zu welchem Zweck, auf welcher Rechtsgrundlage.

Praktische Checkliste für DSGVO-konforme KI-Einführung

Keine vollständige Rechtsberatung – aber ein praktischer Einstiegspunkt für die Praxis:

[ ] Rechtsgrundlage identifiziert für alle personenbezogenen Daten, die verarbeitet werden
[ ] Auftragsverarbeitungsvertrag mit dem KI-Anbieter abgeschlossen
[ ] Datenschutz-Folgenabschätzung (DPIA) durchgeführt bei Hochrisikoverarbeitungen
[ ] Datenschutzerklärung aktualisiert, KI-Verarbeitungen transparent gemacht
[ ] Betroffenenrechte sichergestellt: Auskunft, Löschung, Widerspruch auch bei KI-Verarbeitungen möglich
[ ] Automatisierte Entscheidungen geprüft: Menschliche Überprüfung sichergestellt wo erforderlich
[ ] KI-Inventar erstellt: Alle eingesetzten Systeme dokumentiert
[ ] Risikoklassifizierung nach AI Act für jedes System vorgenommen
[ ] Mitarbeiter geschult: Datenschutzkonforme Nutzung von KI-Tools – insbesondere keine sensiblen Daten in Consumer-KI-Tools

Was bei Verstößen droht

Die Bußgeldrahmen sind keine akademische Übung:

EU AI Act: bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes bei Verstößen gegen Verbote; bis zu 15 Millionen Euro oder 3 % bei anderen Verstößen
DSGVO: bis zu 20 Millionen Euro oder 4 % des weltweiten Jahresumsatzes

Für einen Mittelständler mit 50 Millionen Euro Umsatz bedeuten 4 % DSGVO-Bußgeld zwei Millionen Euro. Das sind keine theoretischen Zahlen – die Aufsichtsbehörden haben in den letzten Jahren gezeigt, dass sie auch gegen kleinere Unternehmen vorgehen.

Neben Bußgeldern drohen: Untersagungsverfügungen (KI-System darf nicht mehr betrieben werden), Reputationsschäden und zivilrechtliche Haftung gegenüber betroffenen Personen.

Wie Sie sich jetzt vorbereiten

Mein Empfehlungsset für Unternehmen, die sich strukturiert aufstellen wollen:

Kurzfristig – sofort umsetzbar:

Inventarisieren Sie alle KI-Tools, die heute bereits im Einsatz sind – inklusive der Tools, die Mitarbeiter eigenständig nutzen (ChatGPT Free, Copilot free, etc.)
Stellen Sie sicher, dass keine sensiblen Unternehmensdaten oder Kundendaten in Consumer-KI-Tools eingegeben werden
Prüfen Sie bestehende AVV mit KI-Anbietern auf Datenweitergabe für Trainingszwecke

Mittelfristig – bis Mitte 2025:

Klassifizieren Sie Ihre KI-Systeme nach AI-Act-Risikoklassen
Aktualisieren Sie Datenschutzerklärungen und interne Richtlinien
Definieren Sie klare Nutzungsrichtlinien für KI-Tools für Mitarbeiter

Langfristig – laufend:

Etablieren Sie einen regelmäßigen Review-Prozess für KI-Compliance
Halten Sie sich über Änderungen in Regulierung und Rechtsprechung auf dem Laufenden
Investieren Sie in Schulungen: Compliance ist kein Einmalereignis

Wie der Einstieg in KI-Projekte strukturiert aussehen kann, beschreibe ich im Artikel KI im Mittelstand: Praxisleitfaden für den Einstieg. Wie man den Erfolg solcher Projekte messbar macht, zeigt der Artikel KI Kennzahlen für Unternehmen.

Fazit

Der EU AI Act ist keine bürokratische Übung, sondern eine Reaktion auf reale Risiken: Diskriminierung durch algorithmische Systeme, Manipulation, Verlust menschlicher Kontrolle über folgenreiche Entscheidungen. Unternehmen, die KI verantwortungsvoll einsetzen, haben nichts zu befürchten – aber sie müssen sich vorbereiten.

Die gute Nachricht: Wer Datenschutz und Compliance von Anfang an in KI-Projekte integriert, vermeidet teure Nacharbeit und schafft Vertrauen – bei Kunden, bei Mitarbeitern und bei Partnern. Das ist kein Wettbewerbsnachteil, sondern mittelfristig ein klarer Vorteil gegenüber Wettbewerbern, die das Thema weiter vertagen.