AIAndreas IndorfTransformation
KI-Infrastruktur im Unternehmen: GPU, Cloud oder On-Prem, Kosten und Souveränität

Cloud & Infrastruktur

KI-Infrastruktur im Unternehmen: GPU, Cloud oder On-Prem, Kosten und Souveränität

Rechen-, Hosting- und Cloud-Infrastruktur für KI: wann eigene GPUs lohnen, wie Sie zwischen Cloud, On-Prem und hybrid entscheiden, was Souveränität verlangt und welche Hebel die Betriebskosten senken.

Andreas IndorfAndreas Indorf 2. November 2025Aktualisiert am 7. November 2026 7 Min.

KI-Infrastruktur im Unternehmen

Viele KI-Vorhaben bleiben im Pilotstadium stecken, weil die Infrastruktur dafür fehlt: Daten liegen verstreut, Modelle lassen sich nicht sauber ausrollen, und niemand weiß, was der Betrieb kosten wird. Dieser Leitfaden zeigt, wie Sie eine KI-Infrastruktur aufbauen, die skalierbar, sicher und für den DSGVO-konformen Betrieb ausgelegt ist – mit Fokus auf Rechenleistung, Hosting-Modell, Kosten und Souveränität.

Zur Abgrenzung: Hier geht es um Rechen-, Hosting- und Cloud-Infrastruktur. Wie KI-Anwendungen selbst aufgebaut sind – Schichten, RAG, Agenten und die Integration in Ihre Systeme –, beschreibt der Beitrag KI-Architektur im Unternehmen.

Kurz gesagt: Für die meisten Unternehmen ist ein Start mit Modell-APIs und Managed Services in EU-Regionen der schnellste Weg; eigene GPU-Infrastruktur lohnt sich erst bei hoher, planbarer Last oder strengen Anforderungen an die Datenhaltung. On-Prem oder hybrid wählen Sie, wenn Souveränität wichtiger ist als Startgeschwindigkeit. Größter Kostentreiber ist GPU-Kapazität – automatische Skalierung, reservierte Kapazitäten, Modelloptimierung und Batch-Verarbeitung sind die wichtigsten Hebel.

Warum KI-Infrastruktur mehr ist als Hardware

Es geht nicht nur um leistungsstarke Server oder GPU-Cluster. Eine professionelle KI-Infrastruktur verbindet Rechenressourcen, Datenpipelines, MLOps-Prozesse und Governance-Mechanismen.

Wie groß die Hürde ist, zeigen Zahlen des Statistischen Bundesamts: Von den Unternehmen, die 2025 den Einsatz von KI erwogen, sie aber nicht nutzten, nannten 45 Prozent die Inkompatibilität mit vorhandenen Geräten, Software und Systemen als Grund, 44 Prozent die Verfügbarkeit oder Qualität der Daten.

Die drei Säulen

  • Rechenleistung und Speicher: skalierbare Ressourcen für Training und Inferenz, schneller Datenzugriff
  • Daten und MLOps: automatisierte Pipelines, Versionierung, CI/CD für Modelle, Monitoring
  • Sicherheit und Governance: Datenschutz, Zugriffskontrolle, Audit-Trails, Modell-Governance

Cloud, On-Prem oder hybrid: die Grundsatzentscheidung

KriteriumCloud (APIs, Managed Services)On-Prem mit eigenen GPUsHybrid
Startaufwandgering, sofort nutzbarhoch: Beschaffung, Betrieb, Personalmittel
Kostenmodellnutzungsabhängig, schwankendInvestition plus Betrieb, planbar bei hoher Auslastunggemischt
Auslastungideal bei schwankendem Bedarflohnt bei hoher, gleichmäßiger LastGrundlast lokal, Spitzen in der Cloud
Datenhoheit und Souveränitätabhängig von Region, Vertrag und Anbietervolle Kontrollesensible Daten lokal
Typisch fürEinstieg, Piloten, die meisten AnwendungenKRITIS, Kliniken, Kanzleien, hohe Dauerlastregulierte Branchen mit Cloud-Anteil

Für die meisten Anwendungsfälle mit Sprachmodellen fällt ohnehin nur Inferenz an, kein Training. Eigene GPUs werden damit erst interessant, wenn Volumen und Auslastung hoch genug sind oder Daten das Haus nicht verlassen dürfen. Wie Sie Abhängigkeiten begrenzen und einen Anbieterwechsel planen, beschreibt der Beitrag zur KI-Souveränität im Unternehmen.

Cloud-Betriebsmodelle für KI

Die Cloud ermöglicht elastische Ressourcen und nutzungsabhängige Abrechnung, was gut zu KI-Workloads mit schwankendem Bedarf passt.

Die gängigen Varianten

  • Hybrid Cloud: sensible Daten on-premise, rechenintensive Aufgaben in der Cloud – oft passend für regulierte Branchen
  • Multi-Cloud: Dienste verschiedener Anbieter kombinieren und Abhängigkeiten reduzieren
  • Cloud-native: vollständig in der Cloud mit Zugriff auf Managed AI Services
  • Edge plus Cloud: Inferenz nah an der Maschine für geringe Latenz, Training und Verwaltung zentral

Für Unternehmen in Deutschland ist die Wahl der Region entscheidend. Microsoft Azure, AWS und Google Cloud betreiben Rechenzentren in Deutschland und der EU. Als Prüfmaßstab für die Sicherheit von Cloud-Diensten hat sich der Kriterienkatalog C5 des BSI etabliert. Die Abwägung zwischen einem und mehreren Anbietern beschreibt der Artikel Multi-Cloud oder Single-Cloud.

KI-Systeme betreiben: von der Entwicklung in die Produktion

Der Übergang vom Proof of Concept zum produktiven Betrieb ist die größte Hürde. MLOps – die Verbindung von Machine Learning und DevOps – ist der Schlüssel dazu; ohne eine gelebte DevOps-Kultur zwischen Entwicklung und Betrieb bleiben die Werkzeuge allerdings Fassade. Google weist in seiner Architekturdokumentation zu MLOps darauf hin, dass nur ein kleiner Teil eines realen ML-Systems aus ML-Code besteht – der Rest ist Infrastruktur für Daten, Auslieferung und Überwachung.

Die wichtigsten Komponenten

  1. Experiment-Tracking: Werkzeuge wie MLflow dokumentieren Trainingsläufe, Parameter und Ergebnisse.
  2. Modellregister: zentrale Verwaltung aller Modellversionen mit Freigabe und Rollback
  3. Feature Store: konsistente Merkmale für Training und Betrieb
  4. Monitoring: Überwachung von Ergebnisqualität, Daten-Drift, Antwortzeiten und Ressourcen
  5. Automatisches Nachtraining: ausgelöst durch sinkende Qualität oder neue Daten

Wichtig: Viele Unternehmen investieren in die Modellentwicklung, vernachlässigen aber das Monitoring. Ohne laufende Überwachung bemerken Sie nicht, wenn ein Modell durch veränderte Daten an Qualität verliert.

Compliance und Datensouveränität

Die DSGVO stellt strenge Regeln für personenbezogene Daten auf: Artikel 22 betrifft automatisierte Einzelentscheidungen, die Artikel 13 bis 15 regeln Informations- und Auskunftsrechte.

Compliance-Checkliste

  • Datenverarbeitung: Daten in EU-Rechenzentren, verschlüsselt bei Speicherung und Übertragung
  • Zugriffskontrolle: rollenbasierte Rechte, Mehr-Faktor-Authentifizierung, Audit-Logs
  • Modell-Governance: Dokumentation der Trainingsdaten, Tests auf Verzerrungen, Erklärbarkeit
  • Datenschutz-Folgenabschätzung: wenn die Verarbeitung voraussichtlich ein hohes Risiko birgt
  • Verträge: Auftragsverarbeitungsverträge mit allen Cloud- und Modellanbietern

Für besonders schützenswerte Wissensbestände, etwa in Kanzleien, Kliniken oder kritischer Infrastruktur, kann eine On-Prem-Variante sinnvoll sein. Welche Bausteine eine souveräne Wissens-KI braucht – Vektordatenbank, Modellwahl, Rechte –, erklärt der Leitfaden Wissens-KI mit RAG im Unternehmen. Wie das in der Praxis aussieht, beschreibe ich bei der Wissens-KI mit RAG.

Technologie-Stack: Werkzeuge und Plattformen

Als Plattformen bieten sich Azure Machine Learning, Amazon SageMaker oder Google Vertex AI an.

Ein bewährter Stack

  • Compute: Kubernetes für Container-Orchestrierung, GPU-Operatoren für die GPU-Verwaltung; GPUs werden laut Kubernetes-Dokumentation über Device-Plugins des Herstellers als eigene Ressource bereitgestellt und von Pods unter limits angefordert
  • ML-Frameworks: PyTorch für Deep Learning, scikit-learn und XGBoost für klassische Verfahren auf Tabellendaten
  • MLOps: MLflow für Tracking und Register, Kubeflow für Pipelines
  • Data Engineering: Apache Airflow für Workflows, Delta Lake für versionierte Daten
  • Monitoring: Prometheus und Grafana für Infrastruktur, spezialisierte Werkzeuge für Modellqualität

Nutzen Sie Managed Services, wo es geht – jedes zusätzliche Werkzeug erhöht die Wartungslast. Starten Sie mit einem minimalen Stack und erweitern Sie schrittweise.

Kosten im Griff behalten

GPU-Kapazität ist der größte Kostentreiber. Die wichtigsten Hebel:

  • Automatische Skalierung: Ressourcen folgen der tatsächlichen Last
  • Reservierte Kapazitäten: deutliche Rabatte bei planbarer Grundlast
  • Modelloptimierung: Quantisierung, Pruning und Distillation senken Größe und Inferenzkosten
  • Batch-Verarbeitung: wo keine Echtzeit nötig ist, Aufträge bündeln
  • Spot-Instanzen: stark vergünstigte, aber unterbrechbare Kapazität für fehlertolerantes Training

Dieselben Hebel senken auch den Energieverbrauch – wie Sie Effizienz und CO2-Fußabdruck systematisch steuern, beschreibt der Beitrag zur nachhaltigen KI-Strategie.

Dass sich Architekturentscheidungen in Euro niederschlagen, zeigt der Praxisbericht zur Multicloud-Migration: Bei einem Enterprise-Software-Hersteller senkte die Migration einer monolithischen Enterprise-Anwendung von On-Premise auf eine Kubernetes-basierte Multicloud-Architektur mit automatischer Skalierung die Betriebskosten deutlich. Weitere Hebel beschreibt der Artikel Cloud-Kosten senken.

Phasenmodell für den Aufbau

  • Phase 1 – Fundament (Monate 1–3): Cloud-Konten, Netzwerk, Basissicherheit, erste Entwicklungsumgebung
  • Phase 2 – Experimente (Monate 3–6): Experiment-Tracking, Datenpipelines, erste produktive Deployments
  • Phase 3 – Produktion (Monate 6–12): MLOps-Pipelines, Monitoring, automatisches Nachtraining, getrennte Umgebungen
  • Phase 4 – Skalierung (ab Monat 12): Self-Service-Plattform, Feature Store, erweiterte Governance

Sieben Fehler, die Sie vermeiden sollten

  • Überdimensionierung: nicht für hypothetische Szenarien bauen
  • Abhängigkeit vom Anbieter ignorieren: proprietäre Dienste erschweren spätere Wechsel
  • Sicherheit als Nachgedanke: Security gehört von Anfang an dazu
  • Monitoring vernachlässigen: ohne Beobachtbarkeit fliegen Sie blind
  • Daten-Governance unterschätzen: Datenverantwortung früh festlegen
  • Kompetenzlücken ignorieren: Weiterbildung einplanen
  • Fehlender Geschäftsbezug: Infrastruktur muss konkrete Ziele unterstützen

Aus meinen Produkten

Bei anirag.io, unserer für den DSGVO-konformen Betrieb ausgelegten Wissens-KI, musste ich genau die Infrastrukturfragen aus diesem Artikel beantworten. Die Dokumente liegen in der Vektordatenbank Qdrant, ein LLM-Router verteilt Anfragen auf Anthropic, OpenAI EU, Mistral oder Aleph Alpha. Damit hängt das System nicht an einem einzigen Modellanbieter. 12.000 PDFs sind in rund 30 Sekunden indexiert, die Antwortzeit liegt im p99 unter 800 ms. Für KRITIS, Kliniken und Kanzleien läuft dieselbe Architektur On-Prem, mit SSO, SAML und SCIM für die Anbindung an bestehende Identitätssysteme.

Bei anicall.io sind die Anforderungen anders: Dort läuft eine Echtzeit-Pipeline aus Twilio, Deepgram für die Spracherkennung, Groq Llama 4 und ElevenLabs für die Sprachausgabe. Hier zählt jede Millisekunde Latenz, bei anirag.io dagegen Datenhaltung und Quellenbeleg. Meine Lehre: Die Infrastruktur folgt dem Anwendungsfall, nicht umgekehrt.

Fazit

Eine professionelle KI-Infrastruktur ist komplex, aber mit schrittweisem Vorgehen gut machbar. Starten Sie mit einem konkreten Anwendungsfall, bauen Sie die minimale Infrastruktur dafür, sammeln Sie Erfahrung und skalieren Sie dann. Bei Architektur, Kosten und Betrieb unterstütze ich Sie im Bereich Cloud-Architektur.

Häufig gestellte Fragen

Brauche ich eigene GPUs für KI im Unternehmen?

In den meisten Fällen nicht. Für den Einstieg und viele produktive Anwendungen reichen Modell-APIs und Managed Services in der Cloud. Eigene GPU-Infrastruktur lohnt sich erst bei hoher, gut planbarer Auslastung oder besonderen Anforderungen an Datenhaltung.

Wie unterstützt KI-Infrastruktur den DSGVO-konformen Betrieb?

Die Infrastruktur unterstützt die DSGVO-Pflichten durch Datenhaltung in der EU, Verschlüsselung, rollenbasierte Zugriffe, vollständige Protokollierung und Auftragsverarbeitungsverträge mit allen Anbietern. Bei Verarbeitungen mit hohem Risiko kommt eine Datenschutz-Folgenabschätzung hinzu.

Was ist der Unterschied zwischen DevOps und MLOps?

DevOps automatisiert Bau, Test und Auslieferung von Software. MLOps erweitert das um Daten und Modelle: Versionierung von Trainingsdaten, automatisches Nachtraining und die Überwachung der Ergebnisqualität im Betrieb, die bei KI im Laufe der Zeit sinken kann.

Andreas Indorf

Über den Autor

Andreas Indorf

Gründer & Geschäftsführer der mysoftwarelab GmbH, KI-Software-Architekt. 7 KI-SaaS-Produkte live, 20+ Jahre Enterprise-IT.

Mehr über mich

Passende Leistung

Cloud-Architektur & DevOps

Nächster Schritt

Lassen Sie uns bauen, was bei Ihnen arbeitet.

30 Minuten, kostenlos und unverbindlich. Sie erfahren, wo KI in Ihrem Unternehmen den größten Hebel hat – und wie schnell er sich umsetzen lässt.

Antwort in der Regel innerhalb von 24 Stunden.