KI-Einführung im Unternehmen: Vorgehensmodell in sieben Phasen

KI ist in deutschen Unternehmen angekommen: Laut einer Bitkom-Befragung vom September 2026 setzen erstmals 57 Prozent der Unternehmen ab 20 Beschäftigten KI ein, weitere 38 Prozent planen oder diskutieren den Einsatz. Im März 2026 hatte Bitkom in einer Befragung zur Digitalisierung der Wirtschaft noch 41 Prozent Nutzer gezählt. Zwischen „wir nutzen KI“ und „KI verbessert messbar unsere Prozesse“ liegt jedoch ein weiter Weg. KI-Projekte verlangen technisches Können, aber ebenso Verständnis für Geschäftsprozesse, Datenlage und organisatorischen Wandel. Wer sie wie ein normales Softwareprojekt plant, unterschätzt meist Daten, Unsicherheit und Akzeptanz.

Kurz gesagt: Eine erfolgreiche KI-Einführung folgt sieben Phasen: Strategie und Use-Case-Auswahl, Governance, Daten und Plattform, Prototyp, Pilot, begleitendes Change Management sowie Rollout und Skalierung. Entscheidend ist, mit einem konkreten Geschäftsproblem statt mit einem Werkzeug zu beginnen, Regeln für Datenschutz und KI-Verordnung von Anfang an festzulegen, in kurzen Iterationen mit echten Daten zu arbeiten und den Nutzen an gemessenen Ausgangswerten nachzuweisen.

Dieser Leitfaden beschreibt das allgemeine Vorgehensmodell – vom ersten Use Case bis zur Verankerung im Unternehmen, unabhängig von der Unternehmensgröße. Wenn Sie als kleines oder mittleres Unternehmen mit knappem Budget und ohne eigene IT-Abteilung starten, ist der Beitrag KI im Mittelstand mit Förderung und typischen ersten Anwendungsfällen der passendere Einstieg. Wie Sie ein fertiges System anschließend kontrolliert ausrollen und live schalten, behandelt der Beitrag zum KI-Rollout mit Go-live.

Meine Perspektive stammt aus mehr als 20 Jahren Enterprise-IT und aus der KI-first-Einführung im eigenen Unternehmen. Die Lehre, die ich daraus in jede Einführung mitnehme: KI-Anwendungen, die auf getrennten Datenbeständen eingeführt werden, bleiben Inseln. Im Unternehmens-Cockpit laufen Team-, Kunden-, Dienstleister- und Onboarding-Portal deshalb auf einer gemeinsamen Datenbasis – wer das erst später nachholt, muss Daten aus mehreren Piloten zusammenführen. Wie Rollen, Freigaben und Agenten auf einer solchen Basis organisiert werden, beschreibt der Leitfaden zum KI-Department.

Woran scheitern KI-Einführungen und KI-Projekte?

Die Gründe sind selten technisch und ähneln sich über Branchen hinweg:

• Kein messbares Ziel: Projekte starten isoliert, ohne Bezug zu Unternehmenszielen und ohne Kennzahl, an der sich Erfolg ablesen lässt.
• Kein Business Case: Nutzen und Kosten sind nicht beziffert, das Budget wird zur Glaubensfrage. Wie Sie Budget und Fördermittel planen, beschreibt der Beitrag zur KI-Finanzierung.
• Schlechte Daten: KI ist nur so gut wie die Daten, auf die sie zugreift.
• Governance im Nachhinein: Datenschutz und Compliance werden erst nach dem Pilot bedacht.
• Nutzer zu spät beteiligt: Widerstand wird ignoriert statt bearbeitet, die Lösung passt nicht zum Arbeitsalltag.
• Falsche Erwartungen: Die Möglichkeiten von KI werden über- oder unterschätzt.
• Isolierte Piloten: Ein Prototyp überzeugt in der Demo, wird aber nie in den Betrieb überführt.

Dass fehlendes Wissen das größte Hemmnis ist, zeigt auch die amtliche Statistik: Unter den Unternehmen, die 2025 einen KI-Einsatz erwogen, aber nicht umgesetzt hatten, nannten laut Statistischem Bundesamt 72 Prozent fehlendes Wissen und 62 Prozent Unklarheit über die rechtlichen Folgen als Grund. Eine ausführliche Analyse typischer Muster finden Sie im Beitrag KI-Projekt gescheitert: Lessons Learned.

Wo steht Ihr Unternehmen? Die fünf Reifegrade

• Stufe 1 – Bewusstsein: KI wird diskutiert, es gibt keine konkreten Vorhaben.
• Stufe 2 – Experimente: Erste Piloten laufen isoliert, ohne Plan für den Ausbau.
• Stufe 3 – Produktiver Einsatz: Einzelne Lösungen sind im Betrieb, Standards fehlen noch.
• Stufe 4 – Integration: KI ist in Kernprozesse eingebunden, Governance ist etabliert.
• Stufe 5 – Optimierung: KI ist selbstverständlicher Teil der Arbeitsweise.

Eine ehrliche Einordnung verhindert falsche Erwartungen. Wie Sie den Reifegrad strukturiert ermitteln, beschreibt der Beitrag zum KI-Readiness-Assessment.

Die sieben Phasen der KI-Einführung

Phase 1: Strategie und Use-Case-Auswahl

Klären Sie, welche Geschäftsprobleme KI lösen soll. Sammeln Sie mögliche Anwendungsfälle und priorisieren Sie sie nach Geschäftsnutzen, Datenverfügbarkeit und strategischer Relevanz. Starten Sie mit zwei bis drei Use Cases, die hohen Nutzen und gute Machbarkeit verbinden – etwa Dokumentenverarbeitung oder die Suche in internem Wissen.

• Rückendeckung der Geschäftsführung mit Budgetzusage
• Bereichsübergreifendes Team aus IT, Fachbereichen, Personal und – falls vorhanden – Betriebsrat
• Realistische Erwartungen an Aufwand und Zeit
• Messbare Kennzahlen mit Ausgangswerten, erhoben vor dem Projektstart

Wie Sie Kandidaten systematisch finden und bewerten, zeigt der Beitrag KI-Use-Cases identifizieren; für die gemeinsame Sammlung mit den Fachbereichen eignen sich strukturierte KI-Workshops.

Phase 2: Governance festlegen

Legen Sie vor den ersten Projekten Regeln fest: Welche Daten dürfen in welche Systeme? Wer gibt neue KI-Anwendungen frei? Wie werden Ergebnisse geprüft? Berücksichtigen Sie dabei die DSGVO und die KI-Verordnung (EU) 2024/1689. Art. 4 verpflichtet Anbieter und Betreiber, Maßnahmen zur Unterstützung der KI-Kompetenz ihres Personals zu ergreifen; die Digital-Omnibus-Verordnung (EU) 2026/1744 hat klargestellt, dass dabei kein bestimmtes Kompetenzniveau garantiert werden muss – die Pflicht selbst bleibt.

Bewährt hat sich ein abgestuftes Freigabemodell: Ein KI-System oder Agent darf zunächst nur vorschlagen, dann nach Freigabe handeln und erst später bestimmte Aufgaben eigenständig erledigen. So wächst die Autonomie mit dem nachgewiesenen Vertrauen. Wie Rollen, Gremien und Freigaben im Zusammenspiel aussehen, beschreibt der Leitfaden zum KI-Department.

Phase 3: Daten und Plattform aufbauen

Daten sind der Rohstoff jeder KI-Anwendung, und ihre Aufbereitung kostet erfahrungsgemäß viel Zeit. Schaffen Sie früh die Grundlage:

• Datenzugang: zentrale, gut dokumentierte Datenhaltung mit klaren Verantwortlichen
• Datenqualität: Prozesse für Bereinigung, Prüfung und Data Governance
• Modellzugang: Cloud-Dienste oder eigene Modelle, so gewählt, dass Anbieter austauschbar bleiben
• Integration: stabile Schnittstellen zu ERP, CRM und Dokumentenablage
• Betrieb: Protokollierung und Monitoring von Beginn an

Viele Einstiegsprojekte drehen sich um internes Wissen. Was dabei für Datenschutz und Quellenbelege zu beachten ist, zeigt der Leitfaden Wissens-KI mit RAG im Unternehmen. Vertiefend zur Datenseite: KI-Datenstrategie.

Phase 4: Prototyp und Proof of Concept

Arbeiten Sie in Sprints von zwei bis vier Wochen. Entwickeln Sie zunächst einen minimalen Prototyp mit echten Daten, sammeln Sie Feedback und verbessern Sie schrittweise. Cross-funktionale Teams aus Entwicklung, Datenkompetenz und Fachbereich sorgen dafür, dass technische Qualität und Geschäftsrelevanz zusammenkommen. Ziel ist der Nachweis von Nutzen, nicht nur von technischer Machbarkeit. Wie Sie dabei vorgehen, beschreibt der Artikel KI-Prototyp entwickeln.

Phase 5: Pilot

Setzen Sie die Lösung in einem abgegrenzten Bereich produktiv ein. Messen Sie gegen Ihre Ausgangswerte, sammeln Sie Rückmeldungen und verbessern Sie iterativ. Legen Sie vor dem Start fest, wann der Pilot als erfolgreich gilt und wer über die Fortsetzung entscheidet – sonst wird aus dem Pilot ein Dauerprovisorium.

Phase 6: Change Management und Befähigung (begleitend)

Change Management läuft von Anfang an mit, denn der kritische Erfolgsfaktor ist, dass Menschen die Lösung tatsächlich nutzen:

• offene Kommunikation über Ziele, Fortschritt und Auswirkungen auf Aufgaben
• Qualifizierung auf mehreren Ebenen, von Grundlagen bis zu neuen Arbeitsweisen
• KI-Champions in den Fachbereichen als Multiplikatoren
• intuitive Oberflächen, die positive erste Erfahrungen ermöglichen

Vertiefend dazu: KI-Change-Management und Akzeptanz bei Mitarbeitenden.

Phase 7: Rollout und Skalierung

Erfolgreiche Piloten werden auf weitere Bereiche übertragen. Dafür brauchen Sie automatisierte Bereitstellung neuer Modell- oder Prompt-Versionen, Monitoring von Qualität und Drift, regelmäßige Reviews mit dem Fachbereich und Feedbackschleifen aus dem Betrieb. Standardisieren Sie Prozesse und Vorlagen und bauen Sie ein Kompetenzzentrum auf, das andere Bereiche unterstützt. Das konkrete Ausrollen in Wellen samt Go-live und Hypercare beschreibt der Beitrag zum KI-Rollout; den Aufbau eines Betriebsmodells für viele Anwendungsfälle der Beitrag KI im Unternehmen skalieren.

Welche Rollen braucht die KI-Einführung?

• Sponsor in der Geschäftsführung: sichert Budget, Prioritäten und Entscheidungen ab.
• Product Owner aus dem Fachbereich: verantwortet Nutzen, Anforderungen und Abnahme je Use Case.
• Entwicklungs- und Datenkompetenz: Integration, Datenaufbereitung, Architektur und Betrieb.
• AI Change Manager: verbindet technische Umsetzung und organisatorische Veränderung – stimmt Stakeholder ab, plant Kommunikation und Schulungen, erkennt Widerstände und macht Erfolge sichtbar.

Eigene Data Scientists brauchen Sie für den Einstieg nicht zwingend. Viele Anwendungen lassen sich mit vorhandenen Sprachmodellen und guter Integration umsetzen.

Bewährte Methoden und Rahmenwerke

• Scrum und Kanban: iterative Entwicklung mit kurzen Feedbackzyklen
• CRISP-DM: etabliertes Prozessmodell für datengetriebene Projekte – Geschäftsverständnis, Datenverständnis, Aufbereitung, Modellierung, Evaluation, Bereitstellung. Für Sprachmodelle ergänzen Sie es um Prompt-Versionierung, Wissensbasis und menschliche Freigaben.
• MLOps: DevOps-Prinzipien für den Betrieb von Modellen, Details in der MLOps-Strategie
• NIST AI RMF: Das AI Risk Management Framework des NIST ist für die freiwillige Nutzung gedacht und ordnet Risikoarbeit in die Funktionen Govern, Map, Measure und Manage.

Entscheidend ist weniger das Werkzeug als die Disziplin, Experimente und Entscheidungen nachvollziehbar zu dokumentieren.

Wie sieht eine KI-Roadmap aus?

Eine Roadmap übersetzt die Strategie in konkrete Vorhaben auf drei Horizonten:

• Horizont 1: schnelle Erfolge und Grundlagenprojekte – etwa Dokumentenverarbeitung oder ein interner Wissensassistent
• Horizont 2: Integration und Ausbau – etwa KI-gestützte Entscheidungsunterstützung in Kernprozessen
• Horizont 3: neue Geschäftsmodelle und weitgehend autonome Abläufe mit KI-Agenten

Priorisieren Sie nach Nutzen und Aufwand. Eine Schritt-für-Schritt-Anleitung bietet der Beitrag KI-Roadmap erstellen.

Wie messen Sie den Erfolg?

Ebene	Typische Kennzahlen
Geschäft	Einsparungen, Umsatzwirkung, Kundenzufriedenheit
Prozess	Durchlaufzeiten, Fehlerquoten, Automatisierungsgrad
Technik	Ergebnisqualität, Antwortzeit, Verfügbarkeit, Drift
Akzeptanz	aktive Nutzer, Zufriedenheit, Schulungsstand

Ein Beispiel für gut messbaren Nutzen ist ein KI-System zur automatischen Routenoptimierung und Lagerlogistik bei einem mittelständischen Logistikunternehmen, wie im Praxisbericht zur KI in der Logistik beschrieben. Eine technisch hervorragende Lösung, die niemand nutzt, ist dagegen wertlos. Wie Sie den wirtschaftlichen Nutzen sauber berechnen, zeigt der Artikel KI-ROI berechnen.

Typische Herausforderungen

Datenqualität: Investieren Sie früh in Bereinigung und klare Zuständigkeiten und planen Sie dafür ausreichend Projektzeit ein.

Fehlende Kompetenzen: Kombinieren Sie gezielte Einstellungen mit Weiterbildung und holen Sie für Spezialthemen externe Unterstützung.

Widerstand: Sprechen Sie offen darüber, welche Aufgaben sich ändern, und zeigen Sie Perspektiven auf.

Überzogene Erwartungen: Erklären Sie früh, dass KI-Lösungen iterativ besser werden.

Beim Aufbau von Strategie, Governance und KI-Organisation unterstütze ich mit dem KI-Department. Geht es vor allem darum, konkrete Abläufe in einem mittelständischen Betrieb zu digitalisieren, ist die Mittelstand-Digitalisierung der passende Einstieg.

Aus meinen Produkten

Die wichtigste Lehre aus der Einführung im eigenen Unternehmen: Governance aus Phase 2 funktioniert nur, wenn sie eine Funktion im System ist und kein Richtlinien-Dokument. Im Unternehmens-Cockpit habe ich das deshalb technisch verankert. Jeder Agent hat eine Autonomiestufe von vier möglichen, kritische Schritte laufen über Freigabe-Tore, und ein Freigabe-Tor hält immer ein Mensch. Ein Not-Aus stoppt die Agenten jederzeit, ein AI-Act-Protokoll hält fest, was entschieden wurde.

Die Grenze, die ich dabei gelernt habe: Zu Beginn stand fast alles auf der niedrigsten Stufe, und das war richtig. Autonomie zu früh zu vergeben, kostet mehr Vertrauen, als ein paar zusätzliche Freigaben Zeit kosten. Für Ihre Einführung heißt das: Planen Sie die Freigabelogik als Teil der Plattform in Phase 3 ein, dann wächst die Kontrolle in Phase 7 automatisch mit.

Häufig gestellte Fragen

Wie lange dauert die Einführung von KI im Unternehmen?

Ein erster Prototyp ist oft in wenigen Wochen möglich, ein produktiver Pilot in einigen Monaten. Die Verankerung in mehreren Bereichen dauert länger und ist eher ein fortlaufender Prozess als ein Projekt mit Enddatum. Planen Sie deshalb mit klaren Entscheidungspunkten statt mit einem einzigen Endtermin.

Womit sollte ein Unternehmen bei KI anfangen?

Mit einem konkreten, häufig auftretenden Problem, für das Daten vorhanden sind und dessen Nutzen sich messen lässt – etwa die Verarbeitung von Dokumenten oder die Suche in internem Wissen. Parallel sollten Grundregeln für die Nutzung von KI-Werkzeugen festgelegt werden.

Welche Rollen braucht ein KI-Projektteam?

Mindestens einen Product Owner aus dem Fachbereich, Entwicklungs- und Datenkompetenz sowie eine Person, die Change Management und Kommunikation verantwortet. Ein Sponsor in der Geschäftsführung sichert Ressourcen und Entscheidungen ab. Spezialisierte Rollen wie Data Scientists lassen sich mit wachsendem Bedarf aufbauen.

Ist CRISP-DM für moderne KI-Projekte noch geeignet?

Als Grundgerüst ja: Geschäftsverständnis, Datenverständnis, Aufbereitung, Modellierung, Evaluation und Bereitstellung gelten weiterhin. Für Projekte mit Sprachmodellen sollten Sie es um Prompt-Versionierung, Wissensbasis und menschliche Freigaben ergänzen.

Was ist der Unterschied zwischen KI-Einführung und KI-Rollout?

Die KI-Einführung umfasst das gesamte Vorgehen von der Strategie über Governance, Daten, Prototyp und Pilot bis zur Verankerung in der Organisation. Der Rollout ist ein Teil davon: Er überträgt ein bereits erprobtes System auf alle Nutzer und Standorte, einschließlich Go-live, Hypercare und Übergabe in den Regelbetrieb.