# KI-Infrastruktur im Unternehmen: GPU, Cloud oder On-Prem, Kosten und Souveränität

URL: https://andreasindorf.com/ki-infrastruktur-unternehmen/
Autor: Andreas Indorf · Veröffentlicht: 2025-11-02 · Aktualisiert: 2026-11-07 · Thema: Cloud & Infrastruktur

> KI-Infrastruktur planen: GPU-Bedarf, Cloud, On-Prem oder hybrid, EU-Regionen und Souveränität, Kostenhebel für Training und Inferenz, Phasenmodell.

Viele KI-Vorhaben bleiben im Pilotstadium stecken, weil die Infrastruktur dafür fehlt: Daten liegen verstreut, Modelle lassen sich nicht sauber ausrollen, und niemand weiß, was der Betrieb kosten wird. Dieser Leitfaden zeigt, wie Sie eine KI-Infrastruktur aufbauen, die skalierbar, sicher und für den DSGVO-konformen Betrieb ausgelegt ist – mit Fokus auf Rechenleistung, Hosting-Modell, Kosten und Souveränität.

Zur Abgrenzung: Hier geht es um Rechen-, Hosting- und Cloud-Infrastruktur. Wie KI-Anwendungen selbst aufgebaut sind – Schichten, RAG, Agenten und die Integration in Ihre Systeme –, beschreibt der Beitrag [KI-Architektur im Unternehmen](https://mysoftwarelab.com/blog/ki-architektur-unternehmen).

**Kurz gesagt:** Für die meisten Unternehmen ist ein Start mit Modell-APIs und Managed Services in EU-Regionen der schnellste Weg; eigene GPU-Infrastruktur lohnt sich erst bei hoher, planbarer Last oder strengen Anforderungen an die Datenhaltung. On-Prem oder hybrid wählen Sie, wenn Souveränität wichtiger ist als Startgeschwindigkeit. Größter Kostentreiber ist GPU-Kapazität – automatische Skalierung, reservierte Kapazitäten, Modelloptimierung und Batch-Verarbeitung sind die wichtigsten Hebel.

## Warum KI-Infrastruktur mehr ist als Hardware

Es geht nicht nur um leistungsstarke Server oder GPU-Cluster. Eine professionelle KI-Infrastruktur verbindet Rechenressourcen, Datenpipelines, MLOps-Prozesse und Governance-Mechanismen.

Wie groß die Hürde ist, zeigen Zahlen des [Statistischen Bundesamts](https://www.destatis.de/DE/Themen/Branchen-Unternehmen/Unternehmen/IKT-in-Unternehmen-IKT-Branche/Tabellen/ikti-gegen-nutzung-kuenstliche-intelligenz.html): Von den Unternehmen, die 2025 den Einsatz von KI erwogen, sie aber nicht nutzten, nannten 45 Prozent die Inkompatibilität mit vorhandenen Geräten, Software und Systemen als Grund, 44 Prozent die Verfügbarkeit oder Qualität der Daten.

### Die drei Säulen

- **Rechenleistung und Speicher:** skalierbare Ressourcen für Training und Inferenz, schneller Datenzugriff
- **Daten und MLOps:** automatisierte Pipelines, Versionierung, CI/CD für Modelle, Monitoring
- **Sicherheit und Governance:** Datenschutz, Zugriffskontrolle, Audit-Trails, Modell-Governance

## Cloud, On-Prem oder hybrid: die Grundsatzentscheidung

| Kriterium | Cloud (APIs, Managed Services) | On-Prem mit eigenen GPUs | Hybrid |
|---|---|---|---|
| Startaufwand | gering, sofort nutzbar | hoch: Beschaffung, Betrieb, Personal | mittel |
| Kostenmodell | nutzungsabhängig, schwankend | Investition plus Betrieb, planbar bei hoher Auslastung | gemischt |
| Auslastung | ideal bei schwankendem Bedarf | lohnt bei hoher, gleichmäßiger Last | Grundlast lokal, Spitzen in der Cloud |
| Datenhoheit und Souveränität | abhängig von Region, Vertrag und Anbieter | volle Kontrolle | sensible Daten lokal |
| Typisch für | Einstieg, Piloten, die meisten Anwendungen | KRITIS, Kliniken, Kanzleien, hohe Dauerlast | regulierte Branchen mit Cloud-Anteil |

Für die meisten Anwendungsfälle mit Sprachmodellen fällt ohnehin nur Inferenz an, kein Training. Eigene GPUs werden damit erst interessant, wenn Volumen und Auslastung hoch genug sind oder Daten das Haus nicht verlassen dürfen. Wie Sie Abhängigkeiten begrenzen und einen Anbieterwechsel planen, beschreibt der Beitrag zur [KI-Souveränität im Unternehmen](https://andreasindorf.com/ki-souveraenitaet-unternehmen/).

## Cloud-Betriebsmodelle für KI

Die Cloud ermöglicht elastische Ressourcen und nutzungsabhängige Abrechnung, was gut zu KI-Workloads mit schwankendem Bedarf passt.

### Die gängigen Varianten

- **Hybrid Cloud:** sensible Daten on-premise, rechenintensive Aufgaben in der Cloud – oft passend für regulierte Branchen
- **Multi-Cloud:** Dienste verschiedener Anbieter kombinieren und Abhängigkeiten reduzieren
- **Cloud-native:** vollständig in der Cloud mit Zugriff auf Managed AI Services
- **Edge plus Cloud:** Inferenz nah an der Maschine für geringe Latenz, Training und Verwaltung zentral

Für Unternehmen in Deutschland ist die Wahl der Region entscheidend. Microsoft Azure, AWS und Google Cloud betreiben Rechenzentren in Deutschland und der EU. Als Prüfmaßstab für die Sicherheit von Cloud-Diensten hat sich der [Kriterienkatalog C5 des BSI](https://www.bsi.bund.de/DE/Themen/Unternehmen-und-Organisationen/Informationen-und-Empfehlungen/Empfehlungen-nach-Angriffszielen/Cloud-Computing/Kriterienkatalog-C5/kriterienkatalog-c5_node.html) etabliert. Die Abwägung zwischen einem und mehreren Anbietern beschreibt der Artikel [Multi-Cloud oder Single-Cloud](https://andreasindorf.com/multicloud-vs-single-cloud/).

## KI-Systeme betreiben: von der Entwicklung in die Produktion

Der Übergang vom Proof of Concept zum produktiven Betrieb ist die größte Hürde. MLOps – die Verbindung von Machine Learning und DevOps – ist der Schlüssel dazu; ohne eine gelebte [DevOps-Kultur](https://andreasindorf.com/devops-kultur-aufbauen/) zwischen Entwicklung und Betrieb bleiben die Werkzeuge allerdings Fassade. Google weist in seiner [Architekturdokumentation zu MLOps](https://docs.cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning) darauf hin, dass nur ein kleiner Teil eines realen ML-Systems aus ML-Code besteht – der Rest ist Infrastruktur für Daten, Auslieferung und Überwachung.

### Die wichtigsten Komponenten

1. **Experiment-Tracking:** Werkzeuge wie MLflow dokumentieren Trainingsläufe, Parameter und Ergebnisse.
2. **Modellregister:** zentrale Verwaltung aller Modellversionen mit Freigabe und Rollback
3. **Feature Store:** konsistente Merkmale für Training und Betrieb
4. **Monitoring:** Überwachung von Ergebnisqualität, Daten-Drift, Antwortzeiten und Ressourcen
5. **Automatisches Nachtraining:** ausgelöst durch sinkende Qualität oder neue Daten

> **Wichtig:** Viele Unternehmen investieren in die Modellentwicklung, vernachlässigen aber das Monitoring. Ohne laufende Überwachung bemerken Sie nicht, wenn ein Modell durch veränderte Daten an Qualität verliert.

## Compliance und Datensouveränität

Die DSGVO stellt strenge Regeln für personenbezogene Daten auf: Artikel 22 betrifft automatisierte Einzelentscheidungen, die Artikel 13 bis 15 regeln Informations- und Auskunftsrechte.

### Compliance-Checkliste

- **Datenverarbeitung:** Daten in EU-Rechenzentren, verschlüsselt bei Speicherung und Übertragung
- **Zugriffskontrolle:** rollenbasierte Rechte, Mehr-Faktor-Authentifizierung, Audit-Logs
- **Modell-Governance:** Dokumentation der Trainingsdaten, Tests auf Verzerrungen, Erklärbarkeit
- **Datenschutz-Folgenabschätzung:** wenn die Verarbeitung voraussichtlich ein hohes Risiko birgt
- **Verträge:** Auftragsverarbeitungsverträge mit allen Cloud- und Modellanbietern

Für besonders schützenswerte Wissensbestände, etwa in Kanzleien, Kliniken oder kritischer Infrastruktur, kann eine On-Prem-Variante sinnvoll sein. Welche Bausteine eine souveräne Wissens-KI braucht – Vektordatenbank, Modellwahl, Rechte –, erklärt der Leitfaden [Wissens-KI mit RAG im Unternehmen](https://andreasindorf.com/wissens-ki-rag-unternehmen/). Wie das in der Praxis aussieht, beschreibe ich bei der [Wissens-KI mit RAG](https://andreasindorf.com/leistungen/wissens-ki-rag/).

## Technologie-Stack: Werkzeuge und Plattformen

Als Plattformen bieten sich Azure Machine Learning, Amazon SageMaker oder Google Vertex AI an.

### Ein bewährter Stack

- **Compute:** Kubernetes für Container-Orchestrierung, GPU-Operatoren für die GPU-Verwaltung; GPUs werden laut [Kubernetes-Dokumentation](https://kubernetes.io/docs/tasks/manage-gpus/scheduling-gpus/) über Device-Plugins des Herstellers als eigene Ressource bereitgestellt und von Pods unter `limits` angefordert
- **ML-Frameworks:** PyTorch für Deep Learning, scikit-learn und XGBoost für klassische Verfahren auf Tabellendaten
- **MLOps:** MLflow für Tracking und Register, Kubeflow für Pipelines
- **Data Engineering:** Apache Airflow für Workflows, Delta Lake für versionierte Daten
- **Monitoring:** Prometheus und Grafana für Infrastruktur, spezialisierte Werkzeuge für Modellqualität

Nutzen Sie Managed Services, wo es geht – jedes zusätzliche Werkzeug erhöht die Wartungslast. Starten Sie mit einem minimalen Stack und erweitern Sie schrittweise.

## Kosten im Griff behalten

GPU-Kapazität ist der größte Kostentreiber. Die wichtigsten Hebel:

- **Automatische Skalierung:** Ressourcen folgen der tatsächlichen Last
- **Reservierte Kapazitäten:** deutliche Rabatte bei planbarer Grundlast
- **Modelloptimierung:** Quantisierung, Pruning und Distillation senken Größe und Inferenzkosten
- **Batch-Verarbeitung:** wo keine Echtzeit nötig ist, Aufträge bündeln
- **Spot-Instanzen:** stark vergünstigte, aber unterbrechbare Kapazität für fehlertolerantes Training

Dieselben Hebel senken auch den Energieverbrauch – wie Sie Effizienz und CO2-Fußabdruck systematisch steuern, beschreibt der Beitrag zur [nachhaltigen KI-Strategie](https://andreasindorf.com/nachhaltige-ki-strategie/).

Dass sich Architekturentscheidungen in Euro niederschlagen, zeigt der [Praxisbericht zur Multicloud-Migration](https://andreasindorf.com/multicloud-migration-60-prozent-kostenreduktion/): Bei einem Enterprise-Software-Hersteller senkte die Migration einer monolithischen Enterprise-Anwendung von On-Premise auf eine Kubernetes-basierte Multicloud-Architektur mit automatischer Skalierung die Betriebskosten deutlich. Weitere Hebel beschreibt der Artikel [Cloud-Kosten senken](https://andreasindorf.com/cloud-kosten-senken/).

## Phasenmodell für den Aufbau

- **Phase 1 – Fundament (Monate 1–3):** Cloud-Konten, Netzwerk, Basissicherheit, erste Entwicklungsumgebung
- **Phase 2 – Experimente (Monate 3–6):** Experiment-Tracking, Datenpipelines, erste produktive Deployments
- **Phase 3 – Produktion (Monate 6–12):** MLOps-Pipelines, Monitoring, automatisches Nachtraining, getrennte Umgebungen
- **Phase 4 – Skalierung (ab Monat 12):** Self-Service-Plattform, Feature Store, erweiterte Governance

## Sieben Fehler, die Sie vermeiden sollten

- **Überdimensionierung:** nicht für hypothetische Szenarien bauen
- **Abhängigkeit vom Anbieter ignorieren:** proprietäre Dienste erschweren spätere Wechsel
- **Sicherheit als Nachgedanke:** Security gehört von Anfang an dazu
- **Monitoring vernachlässigen:** ohne Beobachtbarkeit fliegen Sie blind
- **Daten-Governance unterschätzen:** Datenverantwortung früh festlegen
- **Kompetenzlücken ignorieren:** Weiterbildung einplanen
- **Fehlender Geschäftsbezug:** Infrastruktur muss konkrete Ziele unterstützen

## Aus meinen Produkten

Bei anirag.io, unserer für den DSGVO-konformen Betrieb ausgelegten Wissens-KI, musste ich genau die Infrastrukturfragen aus diesem Artikel beantworten. Die Dokumente liegen in der Vektordatenbank Qdrant, ein LLM-Router verteilt Anfragen auf Anthropic, OpenAI EU, Mistral oder Aleph Alpha. Damit hängt das System nicht an einem einzigen Modellanbieter. 12.000 PDFs sind in rund 30 Sekunden indexiert, die Antwortzeit liegt im p99 unter 800 ms. Für KRITIS, Kliniken und Kanzleien läuft dieselbe Architektur On-Prem, mit SSO, SAML und SCIM für die Anbindung an bestehende Identitätssysteme.

Bei anicall.io sind die Anforderungen anders: Dort läuft eine Echtzeit-Pipeline aus Twilio, Deepgram für die Spracherkennung, Groq Llama 4 und ElevenLabs für die Sprachausgabe. Hier zählt jede Millisekunde Latenz, bei anirag.io dagegen Datenhaltung und Quellenbeleg. Meine Lehre: Die Infrastruktur folgt dem Anwendungsfall, nicht umgekehrt.

## Fazit

Eine professionelle KI-Infrastruktur ist komplex, aber mit schrittweisem Vorgehen gut machbar. Starten Sie mit einem konkreten Anwendungsfall, bauen Sie die minimale Infrastruktur dafür, sammeln Sie Erfahrung und skalieren Sie dann. Bei Architektur, Kosten und Betrieb unterstütze ich Sie im Bereich [Cloud-Architektur](https://andreasindorf.com/leistungen/cloud-architektur/).

## Häufig gestellte Fragen

### Brauche ich eigene GPUs für KI im Unternehmen?

In den meisten Fällen nicht. Für den Einstieg und viele produktive Anwendungen reichen Modell-APIs und Managed Services in der Cloud. Eigene GPU-Infrastruktur lohnt sich erst bei hoher, gut planbarer Auslastung oder besonderen Anforderungen an Datenhaltung.

### Wie unterstützt KI-Infrastruktur den DSGVO-konformen Betrieb?

Die Infrastruktur unterstützt die DSGVO-Pflichten durch Datenhaltung in der EU, Verschlüsselung, rollenbasierte Zugriffe, vollständige Protokollierung und Auftragsverarbeitungsverträge mit allen Anbietern. Bei Verarbeitungen mit hohem Risiko kommt eine Datenschutz-Folgenabschätzung hinzu.

### Was ist der Unterschied zwischen DevOps und MLOps?

DevOps automatisiert Bau, Test und Auslieferung von Software. MLOps erweitert das um Daten und Modelle: Versionierung von Trainingsdaten, automatisches Nachtraining und die Überwachung der Ergebnisqualität im Betrieb, die bei KI im Laufe der Zeit sinken kann.
