6 Min. Lesezeit

Die KI-Budgets steigen, die Erwartungen auch. Doch zwei Jahre nach dem großen Hype liefern die meisten KI-Projekte keinen messbaren Geschäftswert. Gartner warnt: Über 40 Prozent der agentischen KI-Projekte werden bis 2027 abgebrochen. Boards beginnen unbequeme Fragen zu stellen. Die ehrliche Bilanz zeigt, was funktioniert, was nicht und warum CIOs jetzt umsteuern müssen.

Das Wichtigste in Kürze

Die Ernüchterungswelle rollt

Nach zwei Jahren intensiver KI-Investitionen zeichnet sich ein Muster ab, das erfahrene CIOs von früheren Technologiewellen kennen: Die Erwartungen übersteigen die Ergebnisse deutlich. Laut BCG kommen nur 26 Prozent der Unternehmen über Pilotprojekte hinaus. Die Mehrheit experimentiert, aber skaliert nicht. Der Hype-Cycle von Gartner zeigt KI-Agenten bereits auf dem Weg ins Tal der Enttäuschung.

Das Problem ist nicht die Technologie. Die Modelle werden besser, die Infrastruktur leistungsfähiger, die Anwendungsmöglichkeiten breiter. Das Problem ist organisatorischer Natur: die Lücke zwischen technischer Machbarkeit und geschäftlichem Mehrwert. Viele Projekte entstehen aus dem Impuls „Wir müssen auch KI machen“, nicht aus einem konkreten Geschäftsproblem. Die Folge sind Proof-of-Concepts, die technisch beeindrucken, aber keinen Platz in bestehenden Geschäftsprozessen finden.

Erschwerend kommt hinzu, dass die Erwartungshaltung der Vorstände durch Medienberichte über spektakuläre KI-Erfolge geprägt ist. Wenn ein globaler Tech-Konzern mit 50.000 Datenwissenschaftlern Produktivitätsgewinne meldet, wird daraus im Mittelstand ein unrealistisches Benchmark. Die Realität der meisten Unternehmen sieht anders aus: begrenzte Datenqualität, fehlende KI-Kompetenz im Management und Prozesse, die nicht für automatisierte Entscheidungsfindung ausgelegt sind. Unternehmen starten KI-Projekte ohne klare Erfolgskriterien, ohne definierte Business Cases und ohne Methoden, den Return systematisch zu messen. Wenn nach sechs Monaten die Frage kommt, was das Projekt gebracht hat, fehlt die Antwort.

Eine Deloitte-Studie für den deutschen Markt bestätigt dieses Bild: Deutsche Unternehmen investieren erheblich in KI, transformieren aber kaum. Der Disconnect zwischen Investment und Wirkung ist das zentrale Problem, das CIOs in den kommenden Quartalen lösen müssen.

„Unternehmen skalieren KI-Agenten schneller als ihre Governance-Strukturen mitwachsen. Wer den Wert nicht messen kann, wird die Kosten nicht rechtfertigen können.“
Sinngemäß nach McKinsey, „Seizing the Agentic AI Advantage“ (2025)

Wo KI-Projekte scheitern: Die drei häufigsten Muster

Muster 1: Der Pilotfriedhof. Unternehmen starten 15 bis 20 KI-Piloten gleichzeitig, ohne Priorisierung. Jeder Pilot bekommt ein kleines Budget, ein kleines Team und ein vages Ziel. Nach 6 Monaten funktionieren 3 davon technisch, aber keiner hat einen skalierbaren Business Case. Die Organisation verliert das Interesse, die Piloten werden still begraben. BCG nennt dieses Muster den häufigsten Grund für KI-Stagnation.

Muster 2: Die Kostenexplosion. KI-Cloud-Workloads sind teuer. GPU-Inferenzkosten liegen um den Faktor 5 bis 10 über klassischen Compute-Kosten. Ein Chatbot, der intern 50.000 Anfragen pro Monat bearbeitet, kann monatlich 15.000 bis 30.000 Euro an Cloud-Kosten erzeugen. Ohne KI-FinOps als Disziplin werden die Kosten den Nutzen schnell übersteigen. Besonders kritisch ist die fehlende Kostentransparenz: In vielen Organisationen laufen KI-Workloads auf denselben Cloud-Accounts wie klassische Applikationen. Eine Zuordnung der Kosten zu einzelnen Use Cases ist dann nicht möglich, und die Gesamtrechnung überrascht am Quartalsende.

Muster 3: Die Messlücke. Nur 39 Prozent der Unternehmen berichten laut McKinsey über messbaren EBIT-Impact durch KI. Traditionelle Kennzahlen greifen nicht. Was ist der Wert einer 20 Prozent schnelleren Dokumentenanalyse? Wie quantifiziert man vermiedene Fehler? Ohne definierte Metriken vor dem Projektstart wird jede ROI-Diskussion zum Glaubensbekenntnis statt zur Faktenbasis.

Was funktioniert: Drei Erfolgsmuster aus der Praxis

Trotz der ernüchternden Gesamtbilanz gibt es Unternehmen, die nachweisbar KI-ROI erzielen. Die Gemeinsamkeiten sind konsistent: Fokussierung, klare Metriken und operative Integration statt Technologie-Showcase.

Erfolgsmuster 1: Wenige Use Cases, volle Tiefe. Unternehmen, die KI-ROI nachweisen, haben sich auf 3 bis 5 Use Cases konzentriert, diese aber vollständig produktiv skaliert. Ein deutsches Industrieunternehmen hat seine Qualitätskontrolle mit Computer Vision automatisiert: 35 Prozent weniger Ausschuss, ROI nach 7 Monaten. Der Schlüssel war nicht die Technologie, sondern die vollständige Integration in den bestehenden Produktionsprozess.

Erfolgsmuster 2: KPIs vor dem ersten Prompt. Erfolgreiche Projekte definieren messbare Ziele vor dem Start. Nicht „wir wollen KI nutzen“, sondern „wir wollen die Bearbeitungszeit für Kundenanfragen von 4 Stunden auf 1 Stunde reduzieren und dabei die Kundenzufriedenheit über 4,2 halten“. Jedes KI-Projekt braucht ein Baseline-Measurement, ein Target und einen Zeitrahmen.

Erfolgsmuster 3: KI-FinOps als Steuerungsinstrument. Die Kosten pro Inferenz, die GPU-Auslastungsrate, der Cost-per-Outcome: Diese Kennzahlen existieren in den meisten Unternehmen noch nicht. Pioniere bauen KI-FinOps als eigene Disziplin auf, mit dedizierten Teams, die Cloud-Kosten für KI-Workloads transparent machen und optimieren. Laut Flexera liegt das Cloud-Waste-Potential bei 29 Prozent, bei KI-Workloads vermutlich höher. Konkret bedeutet das: Separate Kostenkonten für KI-Workloads, Echtzeit-Dashboards für GPU-Auslastung und automatisierte Alerts bei Kostenüberschreitungen. Unternehmen, die KI-FinOps frühzeitig etabliert haben, berichten von 20 bis 35 Prozent Kosteneinsparung bei KI-Cloud-Ausgaben im ersten Quartal nach Einführung.

Quellen: BCG 2025, McKinsey 2025, Flexera State of Cloud 2026

Die deutschen Zahlen: KI-Paradox im Mittelstand

Der deutsche Markt zeigt das KI-ROI-Problem besonders deutlich. Laut Deloitte investieren deutsche Unternehmen erheblich in KI-Technologie, doch die Transformation bleibt aus. Die Gründe sind strukturell: Der Mittelstand, Rückgrat der deutschen Wirtschaft, hat weder die Dateninfrastruktur noch die KI-Talente, um komplexe Projekte zu skalieren. Gleichzeitig steigt der Druck von Kunden und Wettbewerbern, KI-Fähigkeiten nachzuweisen.

Bitkom beziffert die KI-Nutzung in deutschen Unternehmen auf rund 20 Prozent. Doch „Nutzung“ bedeutet häufig: Ein Team hat ChatGPT ausprobiert, nicht: Die Organisation hat einen KI-basierten Prozess produktiv implementiert. Die Lücke zwischen Nutzung und Wertschöpfung ist groß. CIOs in Deutschland stehen vor der zusätzlichen Herausforderung, dass 27 Prozent der CEOs an der eigenen Unternehmenskultur scheitern, wenn es um KI geht. Ohne kulturellen Wandel bleibt jede Technologie-Investition wirkungslos.

Hinzu kommt der regulatorische Rahmen: Der EU AI Act wird ab August 2026 vollständig anwendbar. Unternehmen, die KI-Systeme im Hochrisiko-Bereich einsetzen, müssen zusätzliche Compliance-Kosten einplanen, die den ROI weiter belasten. Dokumentationspflichten, Risikoassessments und Audit-Trails kosten Geld und Personalkapazität. Wer bis dahin keinen nachweisbaren KI-ROI erzielt hat, wird Schwierigkeiten haben, weitere Investitionen im Board durchzusetzen.

Die Konsequenz für den deutschen Mittelstand: Unternehmen mit weniger als 500 Mitarbeitern sollten auf maximal zwei KI-Use-Cases fokussieren und diese vollständig skalieren, statt das Innovationsbudget auf zehn Experimente zu verteilen. Der Fachkräftemangel verschärft das Problem: Laut Bitkom fehlen in Deutschland über 149.000 149.000 IT-Fachkräfte. KI-Spezialisten sind darunter die am schwersten zu besetzenden Profile. Mittelständler, die sich KI-Kompetenz nicht intern aufbauen können, sollten strategisch auf Managed-AI-Services setzen und den ROI-Nachweis vertraglich mit dem Dienstleister vereinbaren.

Checkliste: KI-ROI messbar machen

CIOs, die den ROI ihrer KI-Investitionen nachweisen wollen, brauchen ein strukturiertes Framework. Die folgenden sieben Schritte bilden die Basis:

1. Baseline definieren. Vor jedem KI-Projekt den aktuellen Zustand messen: Bearbeitungszeiten, Fehlerquoten, Kosten, Kundenzufriedenheit. Ohne Baseline kein messbarer Fortschritt.

2. Drei KPIs pro Projekt festlegen. Nicht mehr, nicht weniger. Typische KPIs: Time-to-Resolution, Error Rate, Cost per Transaction, Customer Satisfaction Score, Employee Productivity Index.

3. KI-FinOps aufsetzen. Cost per Inference, GPU-Auslastungsrate, Cloud-Spend pro Use Case. Diese Metriken müssen ab Tag 1 getrackt werden, nicht erst wenn die Rechnung kommt.

4. Pilotfriedhöfe beenden. Alle laufenden KI-Projekte in eine Portfolio-Matrix einsortieren: Impact vs. Machbarkeit. Die unteren 50 Prozent beenden, die oberen 20 Prozent mit vollem Budget skalieren.

5. Business Owner benennen. Jedes KI-Projekt braucht einen Business Owner, nicht nur einen Tech Lead. Der Business Owner ist verantwortlich für den ROI-Nachweis, nicht die IT-Abteilung.

6. Quartals-Reviews einführen. ROI-Reviews alle 90 Tage mit dem Board. Nicht als Verteidigungsübung, sondern als Steuerungsinstrument. Projekte ohne messbaren Fortschritt nach 2 Quartalen beenden.

7. Erfolge kommunizieren. KI-Erfolge müssen intern sichtbar werden. Case Studies, Kennzahlen, Lessons Learned. Das schafft Akzeptanz für weitere Investitionen und zieht Talente an.

Was CIOs dem Board jetzt sagen müssen

Die ehrliche Botschaft an den Vorstand lautet: KI wird mittel- und langfristig transformativ sein, aber der kurzfristige ROI ist schwerer nachzuweisen als versprochen. Gartner prognostiziert, dass über 40 Prozent der agentischen KI-Projekte bis 2027 abgebrochen werden. Das ist keine Bankrotterklärung der Technologie, sondern ein Zeichen mangelhafter Steuerung.

CIOs, die jetzt auf Fokussierung, messbare KPIs und KI-FinOps setzen, werden in 12 Monaten die Ergebnisse liefern können, die der Vorstand erwartet. Wer weiter breit experimentiert ohne zu skalieren, wird Teil der 40-Prozent-Statistik. Die Entscheidung fällt in den kommenden zwei Quartalen.

Der wichtigste Paradigmenwechsel: KI-ROI ist keine Technologie-Metrik, sondern eine Business-Metrik. Die Frage ist nicht „Wie genau ist unser Modell?“, sondern „Wie viel Umsatz, Kostenersparnis oder Risikoreduktion hat unsere KI-Investition erzeugt?“. CIOs, die diese Übersetzungsleistung erbringen können, werden in den kommenden Jahren nicht nur ihre Budgets rechtfertigen, sondern ihre Rolle als strategische Partner des Vorstands festigen. Wer bei der Technologie bleibt, wird vom CFO überholt.

Häufige Fragen

Quelle Titelbild: Tiger Lily / Pexels