
KI-Strategie & Organisation
KI-Strategie und KI-Roadmap erstellen: Von der Vision über das Portfolio zum Fahrplan
Wie Sie eine KI-Vision formulieren, daraus eine KI-Strategie ableiten, Projekte und Tools als Portfolio steuern und eine KI-Roadmap erstellen: fünf Säulen, Reifegrad, Use Cases, Shadow AI und Konsolidierung, Governance, Phasen und Kennzahlen.

KI ist in deutschen Unternehmen angekommen: Laut einer Bitkom-Umfrage unter 603 Unternehmen ab 20 Beschäftigten, veröffentlicht am 14. September 2026, setzt erstmals eine Mehrheit von 57 Prozent KI ein. In der Vorjahresbefragung vom September 2025 lag der Anteil noch bei 36 Prozent, zwei Jahre zuvor bei 20 Prozent. Weitere 38 Prozent planen oder diskutieren den Einsatz. Nutzung allein ist aber noch keine Strategie. Viele Unternehmen haben Piloten, Budgets und Werkzeuge – das Marketing einen Chat-Assistenten, die Entwicklung einen Code-Assistenten, der Vertrieb die KI-Funktionen seines CRM – und trotzdem keinen messbaren Effekt auf ihr Geschäft, weil nie festgelegt wurde, wofür KI eingesetzt werden soll, in welcher Reihenfolge und wer das Gesamtbild steuert.
Kurz gesagt: Eine KI-Strategie beginnt mit einer KI-Vision: welche Geschäftsprobleme KI in den nächsten zwei bis drei Jahren lösen soll. Daraus folgen fünf Säulen – Zielbild, Reifegrad, Use Cases, Technologie und Change –, zusammengehalten durch Governance. Sobald mehrere Vorhaben laufen, steuern Sie Projekte und Tools als Portfolio: alles inventarisieren, inklusive Shadow AI, einheitlich bewerten, Redundanzen konsolidieren, regelmäßig über Start, Fortsetzung und Abbruch entscheiden. Die Roadmap übersetzt das in fünf Phasen über drei Horizonte. Die Erstellung dauert meist einige Wochen, die Umsetzung ein bis zwei Jahre und mehr.
Zur Abgrenzung: Dieser Artikel behandelt das Was und Warum – Zielbild, Prioritäten, Portfolio, Fahrplan. Wie Sie einzelne Vorhaben vom Prototyp bis zum Rollout umsetzen, beschreibt der Praxisleitfaden KI-Einführung im Unternehmen.
Warum viele KI-Initiativen keine Wirkung entfalten
- Technologie zuerst: Ein LLM-Abo oder eine KI-Plattform wird gekauft, ohne festzulegen, welches Geschäftsproblem gelöst werden soll.
- Fachbereiche nicht beteiligt: Die Vision entsteht in der IT – oft eine saubere Lösung für das falsche Problem.
- Überzogene Erwartungen: Wird KI als Wunderlösung angekündigt, kippt das Vertrauen nach den ersten durchwachsenen Piloten.
- Reifegrad ignoriert: Eine Vision, die nicht zu Datenlage und Kompetenzen passt, bleibt ein frommer Wunsch.
- Wildwuchs: Teams entwickeln Ähnliches parallel, mehrere Tools mit überlappenden Funktionen werden bezahlt, niemand weiß, welches Vorhaben den größten Beitrag leistet.
- Fehlende Governance: Ohne Verantwortlichkeiten scheitern Vorhaben spätestens an Compliance-Anforderungen.
Wie groß die Hürden sind, zeigen amtliche Zahlen: Unternehmen, die 2025 einen KI-Einsatz erwogen, aber nicht umgesetzt hatten, nannten laut Statistischem Bundesamt am häufigsten fehlendes Wissen (72 %), Unklarheit über die rechtlichen Folgen (62 %) und Bedenken zu Datenschutz und Privatsphäre (60 %). Eine gute Roadmap plant diese drei Hürden von Anfang an ein.
KI-Vision, KI-Strategie und KI-Roadmap: der Unterschied
Die KI-Vision beschreibt das Zielbild: welche Rolle KI in zwei bis drei Jahren spielen soll. Die KI-Strategie legt fest, mit welchen Use Cases, Ressourcen, Regeln und Etappen Sie dieses Ziel erreichen. Die KI-Roadmap übersetzt die Strategie in Vorhaben mit Reihenfolge, Zeitrahmen und Verantwortlichen. Das KI-Portfolio-Management hält das Ganze im laufenden Betrieb zusammen.
Eine gute KI-Vision ist kein Wunschzettel. Sie benennt zwei bis drei Geschäftsziele, beschreibt, wo KI darauf einzahlt, und legt fest, wo Menschen die Verantwortung behalten. Diesen letzten Punkt vergessen die meisten – dabei entscheidet er, ob aus dem Zielbild eine steuerbare Organisation wird. Die KI-Strategie muss zudem in die übergreifende IT-Strategie eingebettet sein, denn Datenplattform, Cloud-Betrieb und Sicherheitsarchitektur tragen beide.
Die fünf Säulen einer KI-Unternehmensstrategie
1. Zielbild und strategische Ausrichtung
Jede KI-Strategie beginnt bei den Unternehmenszielen: Effizienz, Wachstum, Risikominimierung oder Innovation. Fragen Sie, welche Prozesse heute am meisten Zeit binden und die meisten Fehler verursachen, wo neue Produkte entstehen könnten und welche regulatorischen und ethischen Grenzen für Ihr Geschäft gelten. Wer Effizienz als Ziel setzt, sollte auch den Energiebedarf der KI selbst einbeziehen – wie das gelingt, zeigt der Beitrag zur nachhaltigen KI-Strategie. Beteiligen Sie Geschäftsführung, IT-Leitung, die wichtigsten Fachbereiche, Datenschutz und gegebenenfalls den Betriebsrat.
2. Reifegrad und Lückenanalyse
| Dimension | Einsteiger | Fortgeschritten | Etabliert |
|---|---|---|---|
| Daten | verteilte Datensilos | zentrale Datenhaltung | domänenübergreifende Datenarchitektur |
| Infrastruktur | On-Premise oder einfache Cloud | Hybrid-Cloud | gemeinsame KI-Plattform |
| Kompetenzen | externe Berater | kleines internes Team | Center of Excellence |
| Governance | keine festen Regeln | Richtlinien für einzelne Tools | Gremium, Rollen, Risikoeinstufung |
| Kultur | Skepsis, Einzelinitiativen | Pilotbereiche mit Rückhalt | KI als selbstverständliches Werkzeug |
Ein strukturiertes Vorgehen mit Prüffragen beschreibt der Beitrag zum KI-Readiness-Assessment.
3. Use Cases
Bewerten Sie Anwendungsfälle nach Geschäftsnutzen in Euro oder Stunden, technischer Machbarkeit, Zeit bis zum Nutzen und Lerneffekt. Bewährt hat sich eine Mischung aus zwei bis drei schnellen Erfolgen und ein bis zwei strategischen Leuchtturmprojekten: Die schnellen Erfolge sichern Rückhalt und Budget, die Leuchttürme bauen die Fähigkeiten auf, die Sie später brauchen. Wie Sie Kandidaten finden, zeigt der Beitrag KI-Use-Cases identifizieren.
4. Technologie und Zielarchitektur
Eine tragfähige Basis ist schlank: eine zentrale KI-Plattform, ein bis zwei zentral lizenzierte Sprachmodelle für allgemeine Aufgaben, wenige spezialisierte Lösungen für klar abgegrenzte Anwendungsfälle, eine einheitliche Datenbasis, eine MLOps-Schicht für eigene Modelle und eine Governance-Schicht für Freigaben, Monitoring und Protokollierung. Achten Sie auf Portabilität: Eine Abstraktionsschicht vor den Modellen erlaubt den Anbieterwechsel und schützt Ihre Roadmap vor Preis- und Strategieänderungen Dritter. Wie die Bausteine zusammenspielen, beschreibt der Beitrag KI-Architektur im Unternehmen; welche Werkzeugkategorien es gibt, ordnet der Marktüberblick KI-Tools für Unternehmen ein.
5. Change und Befähigung
Sichtbarer Rückhalt der Geschäftsführung, offene Kommunikation, Qualifizierung auf allen Ebenen und Beteiligung der Fachbereiche. Die KI-Verordnung verpflichtet Anbieter und Betreiber nach Artikel 4, Maßnahmen zur Unterstützung der KI-Kompetenz ihres Personals zu ergreifen; ein bestimmtes Kompetenzniveau müssen sie nach der Änderung durch die Digital-Omnibus-Verordnung (EU) 2026/1744 nicht garantieren. Reservieren Sie für Change einen festen Budgetanteil. Mehr im Beitrag KI-Change-Management.
Das KI-Portfolio steuern
Sobald mehr als zwei oder drei Vorhaben gleichzeitig laufen, reicht Einzelprojektsteuerung nicht mehr. Die Nutzung wächst schnell – laut Statistischem Bundesamt nutzten 2025 bereits 57 Prozent der Unternehmen mit mehr als 250 Beschäftigten KI –, und Projekte wie Tools entstehen dort, wo gerade ein Problem drückt, nicht nach Plan.
Inventur inklusive Shadow AI
Erfassen Sie Projekte und Werkzeuge gleichermaßen: offiziell beschaffte Tools, Cloud-KI-Dienste, eingebettete KI-Funktionen in ERP, CRM oder Office, eigenentwickelte Modelle und Agenten – und Shadow AI, also Tools, die Mitarbeitende ohne Freigabe nutzen. Die finden Sie über Software-Asset-Management, Netzwerkauswertungen und anonyme Befragungen. Shadow AI ist riskant: Personenbezogene Daten landen ohne Auftragsverarbeitungsvertrag nach der DSGVO auf externen Servern, Code und Angebote fließen in öffentliche Dienste, Ergebnisse gehen ungeprüft in Entscheidungen ein. Verbote allein helfen wenig; wirksamer sind attraktive, freigegebene Alternativen und ein Freigabeprozess, der Wochen statt Monate dauert.
Je Eintrag halten Sie Ziel, Nutzen, Ressourcenbedarf, Status, Abhängigkeiten, Verantwortliche und die Risikoklasse nach der KI-Verordnung (EU) 2024/1689 fest – ein Hochrisiko-Anwendungsfall bindet deutlich mehr Ressourcen für Dokumentation und Prüfung. Als Rahmen für eine einheitliche Risikobewertung eignet sich das freiwillig anwendbare AI Risk Management Framework des NIST.
Bewerten und konsolidieren
| Dimension | Leitfrage |
|---|---|
| Geschäftlicher Nutzen | Welche Einsparung, welcher Umsatzeffekt, welche strategische Relevanz? |
| Machbarkeit | Daten verfügbar und gut genug, Technik reif, Integrationsaufwand? |
| Nutzungsgrad | Wie viele Personen nutzen ein Tool wie intensiv? |
| Kosten | Lizenzen, Betrieb, Integration, Support |
| Redundanz | Überschneidet es sich mit anderen Systemen? |
| Risiko | technisch, rechtlich, Datenstandort, Veränderungsbedarf |
Bestehende Tools ordnen Sie einer von vier Gruppen zu: Keep (strategisch wichtig), Consolidate (durch zentrale Lösung ersetzen), Migrate (auf die Standardplattform überführen) oder Retire (abschalten). Wer ein Tool abschaltet, muss eine gleichwertige, freigegebene Alternative anbieten und offen erklären, warum es wegfällt – Kosten, Datenschutz, Wartbarkeit. Konsolidieren Sie zuerst in einer aufgeschlossenen Abteilung statt per Big Bang.
Ressourcen und Rhythmus
Bewährt hat sich das Hub-and-Spoke-Modell: Ein zentrales Team, etwa ein Center of Excellence, setzt Plattform und Governance, dezentrale Teams setzen die Anwendungsfälle um. Ein Steuerungsgremium aus Geschäftsführung, IT, Fachbereichen und Compliance schaut monatlich auf Status und Risiken und entscheidet quartalsweise über Start, Fortsetzung, Konsolidierung und Abbruch. Ein gestopptes Projekt ist kein Scheitern, wenn es Ressourcen für bessere Vorhaben freimacht. Zusammensetzung und Arbeitsweise des Gremiums beschreibt der Beitrag zur KI-Organisationsstruktur.
Governance als Klammer
- Entscheidungsgremien und Rollen: Wer genehmigt KI-Vorhaben, wer trägt Verantwortung – festgehalten in einer RACI-Matrix.
- Daten: Qualitätsstandards, Herkunft, Zugriffsrechte, DSGVO.
- Modelle: Versionierung, Tests, Monitoring, Freigaben.
- Recht und Ethik: Risikoeinstufung, Transparenz, Fairness. Orientierung für Werte wie Transparenz, Robustheit und Rechenschaftspflicht bieten die OECD-KI-Prinzipien, 2019 verabschiedet und 2024 aktualisiert. Wie Sie Ethik und Datenschutz zusammendenken, vertieft der Beitrag KI-Ethik und Datenschutz.
Wie Sie das konkret aufsetzen, beschreibt der Beitrag zur KI-Governance.
KI-Roadmap erstellen: die fünf Phasen
Mittelständler sollten mit einem Planungshorizont von etwa ein bis zwei Jahren rechnen, Konzerne mit deutlich mehr. Für KMU ohne eigene IT-Abteilung beschreibt der Beitrag KI im Mittelstand einen schlankeren Einstieg.
- Vision und Discovery: KI-Workshops mit allen relevanten Bereichen, Inventur der laufenden Vorhaben und Tools, Bewertung, Auswahl von drei bis fünf Pilotkandidaten.
- Fundament legen: Infrastruktur auswählen, Datenbasis aufbauen, Rollen, Freigabeprozesse und Richtlinien definieren, doppelte Lizenzen kündigen und kritische Shadow AI ablösen. Klären Sie früh, wo Daten liegen dürfen und wie Sie Abhängigkeiten von einzelnen Anbietern begrenzen.
- Pilotieren: kurze Sprints mit klaren Hypothesen und vorab festgelegten Erfolgs- und Abbruchkriterien. Wie Sie solche Sprints in der Entwicklung organisieren, zeigt der Beitrag zu agiler KI-Entwicklung.
- Skalieren: erfolgreiche Piloten in den Regelbetrieb überführen, Tools auf die Zielarchitektur migrieren, Monitoring und Versionierung etablieren. Wie, beschreibt der Beitrag KI-Rollout im Unternehmen.
- Kontinuierlich anpassen: die Roadmap quartalsweise an neue Technologien, Erkenntnisse und Prioritäten anpassen.
Die Phasen wiederholen sich für jede Welle von Anwendungsfällen und lassen sich zeitlich in drei Horizonte gliedern:
| Horizont | Zeitraum | Schwerpunkt | Typische Vorhaben |
|---|---|---|---|
| 1 – Quick Wins | 0 bis 6 Monate | Nutzen zeigen, Grundlagen legen | erste produktive Use Cases, Inventur, Datenqualität, Kompetenzaufbau |
| 2 – Skalierung | 6 bis 18 Monate | vom Pilot in den Betrieb | weitere Bereiche, Konsolidierung, Center of Excellence |
| 3 – Transformation | 18 bis 36 Monate | KI als Kernkompetenz | KI in Kernprozessen, neue Geschäftsmodelle |
Kennzahlen für Strategie und Portfolio
- Geschäftswirkung: Kostenersparnis, Umsatzbeitrag, Durchlaufzeiten, Kundenzufriedenheit.
- Portfolio: Gesamtnutzen im Verhältnis zu den Investitionen, Zeit von der Idee bis zur Produktion, Balance aus Quick Wins, Leuchttürmen und Experimenten, Anzahl aktiver Tools und Lizenzen, erkannte Shadow-AI-Nutzungen.
- Transformation: Entwicklung des Reifegrads, Anteil geschulter Mitarbeitender, tatsächliche Nutzung der Werkzeuge.
Legen Sie vor jedem Start Basiswerte fest. Wie Sie den Nutzen in Euro rechnen, zeigt der Beitrag KI-ROI berechnen.
Typische Fehler
- Technik vor Geschäftsnutzen: Projekte ohne Business Case liefern selten Wirkung. Was sich aus solchen Fällen lernen lässt, zeigen die Lessons Learned aus gescheiterten KI-Projekten.
- Datenaufwand unterschätzt: Die Datenaufbereitung ist oft der größte Arbeitsblock.
- Zu viele Baustellen: viele parallele Initiativen statt weniger priorisierter Piloten.
- Verbote ohne Alternative: Sie verlagern Shadow AI nur.
- Roadmap als Einmal-Dokument: Ohne regelmäßige Überprüfung veraltet sie in Monaten.
- Zu wenig Ausdauer: Wirkung entsteht über Jahre, nicht in einem Quartal.
Aus meinen Produkten
Meine eigene KI-Vision war konkret: Die mysoftwarelab GmbH sollte nicht nur über KI beraten, sondern selbst KI-first arbeiten. Den Umbau habe ich nicht in einem Sprung gemacht, sondern in Wellen: erst einzelne, gut beschriebene Aufgaben, dann ganze Abläufe, schließlich das Unternehmens-Cockpit.
Zwei Entscheidungen aus dem Bau des Cockpits würde ich heute jedem Strategieprojekt mitgeben. Erstens: Die eigentliche strategische Weichenstellung war nicht die Modellwahl, sondern die Frage, wie viel Autonomie KI in welchem Bereich bekommt. Jeder Agent arbeitet in einer von vier Autonomiestufen, abgesichert durch Freigabe-Tore, einen Not-Aus und ein AI-Act-Protokoll; ein Freigabe-Tor hält immer ein Mensch. Planen Sie in Ihrer Roadmap deshalb nicht nur, welche Use Cases wann kommen, sondern auch, wann welcher Prozess mehr Autonomie bekommt und wer das freigibt. Zweitens, gegen Wildwuchs: Team-, Kunden-, Dienstleister- und Onboarding-Portal laufen auf einer gemeinsamen Datenbasis, alle Agenten werden an derselben Stelle gesteuert. Das Inventar ist damit kein Excel-Projekt, sondern fällt im Betrieb an. Der Preis dieser Entscheidung: Ein neuer Baustein muss sich in die gemeinsame Datenbasis einfügen, statt schnell daneben gebaut zu werden. Die Stufen im Detail erklärt der Leitfaden KI-Agenten im Unternehmen, das organisatorische Gesamtbild der Leitfaden zum KI-Department.
Bei der Entwicklung Ihrer KI-Strategie, Roadmap und Portfolio-Steuerung mit klaren Rollen und Freigaben unterstützt Sie das KI-Department; für die Infrastruktur-Seite steht die Cloud-Architektur.
Häufig gestellte Fragen
Was ist der Unterschied zwischen KI-Vision, KI-Strategie und KI-Roadmap?
Die Vision beschreibt, welche Rolle KI in zwei bis drei Jahren spielen soll. Die Strategie legt fest, mit welchen Use Cases, Ressourcen und Regeln Sie dorthin kommen. Die Roadmap übersetzt das in konkrete Vorhaben mit Reihenfolge, Zeitrahmen und Verantwortlichen.
Wie lange dauert es, eine KI-Strategie und Roadmap zu erstellen?
Analyse, Inventur, Use-Case-Workshop, Priorisierung und Planung sind im Mittelstand meist in einigen Wochen machbar. Die Umsetzung erstreckt sich über ein bis zwei Jahre und mehr, eine Tool-Konsolidierung über mehrere Quartale. Sehen Sie früh schnelle Erfolge vor, damit Rückhalt und Budget gesichert bleiben.
Ab wann lohnt sich KI-Portfolio-Management?
Sobald mehrere KI-Projekte um dieselben Ressourcen konkurrieren – in der Praxis meist ab drei parallelen Vorhaben – oder wenn niemand mehr sagen kann, welche KI-Tools im Unternehmen genutzt werden. Dann brauchen Sie Inventur, einheitliche Bewertung und ein Gremium, das regelmäßig entscheidet.
Wie gehe ich mit Shadow AI um, ohne die Belegschaft zu verärgern?
Setzen Sie auf Transparenz statt Sanktionen: Erheben Sie anonym, welche Tools genutzt werden und warum. Stellen Sie freigegebene Alternativen bereit, die den Bedarf mindestens gleich gut decken, und verkürzen Sie den Freigabeprozess. Verbote ohne Alternative verlagern das Problem nur.
Braucht ein mittelständisches Unternehmen eine eigene KI-Strategie?
Ja, aber keine umfangreiche. Es reichen ein klares Zielbild, eine kurze Liste priorisierter Anwendungsfälle, ein Überblick über die genutzten Tools, festgelegte Verantwortlichkeiten, Regeln für Daten und Werkzeuge und eine Roadmap für zwölf bis achtzehn Monate, die Sie quartalsweise überprüfen.

Über den Autor
Andreas Indorf
Gründer & Geschäftsführer der mysoftwarelab GmbH, KI-Software-Architekt. 7 KI-SaaS-Produkte live, 20+ Jahre Enterprise-IT.
Passende Leistung
KI-Department & KI-Strategie
Weiterlesen
Verwandte Artikel

KI-Strategie & Organisation
KI-Readiness und KI-Potenzialanalyse: Wie bereit ist Ihr Unternehmen – und wo liegt das Potenzial?

KI-Strategie & Organisation
KI-Einführung im Unternehmen: Vorgehensmodell in sieben Phasen

Recht & Compliance
KI und Betriebsrat: Mitbestimmung bei der KI-Einführung

Nächster Schritt
Lassen Sie uns bauen, was bei Ihnen arbeitet.
30 Minuten, kostenlos und unverbindlich. Sie erfahren, wo KI in Ihrem Unternehmen den größten Hebel hat – und wie schnell er sich umsetzen lässt.
Antwort in der Regel innerhalb von 24 Stunden.