Local AI: Governance vor dem Hardwarekauf

Vier Entwicklungen aus zwei Wochen zeigen, dass lokal betriebene KI weit über den Technik-Stack hinausgeht. Wer Modelle selbst betreibt, kauft Betrieb, Haftung und neue Abhängigkeiten ein. Das gehört als Governance-Entscheidung beschlossen, bevor aus einem Werkzeug-Pilot ein Betriebsstandard wird.

VerwandtAufsichtsrats-Governance: Digitale Kompetenz gezielt aufbauen  /  Records Management als CIO-Thema: warum Governance Ownership braucht

TL;DR

• Der Download von Modellgewichten verlagert Verantwortung aus dem Anbietervertrag ins eigene Betriebshandbuch.
• Open Weights, Open Source nach OSI und die Ausnahme im EU AI Act sind drei verschiedene Dinge. Die Rechtsabteilung muss sie trennen.
• Belastbar wird die Entscheidung erst, wenn Datenklasse, Verantwortlicher, Lizenz, Betrieb und Ausstieg vor dem Hardwarekauf geklärt sind.

Vier Signale, die zusammengehören

Die Debatte läuft der Verfügbarkeit voraus. Anfang August kursieren Ranglisten der besten offenen Modelle, in denen ein Modell weit vorne steht, dessen Gewichte noch nicht veröffentlicht sind. Alibaba selbst hat sie für die Folgewoche angekündigt. Fachleute haben das korrigiert, aber die Ranglisten waren zuerst da. Wer aus solchen Quellen Beschaffungsdruck ableitet, plant gegen einen Stand, den es nicht gibt.

Ein Anbieter kann seine Positionierung im laufenden Betrieb ändern. Ollama hat sich als Werkzeug für lokale KI etabliert und verschiebt inzwischen Modelle in ein eigenes Cloud-Angebot. In der Community wird kritisiert, populäre neue Modelle würden zurückgehalten, um Abonnements zu treiben; ein Werkzeug, das Modelle hinter einer Bezahlschranke hält, sei am Ende ein weiterer Cloud-Anbieter mit Zwischenschritt. Das ist eine Community-Position und kein Urteil über das Unternehmen. Der strukturelle Punkt bleibt trotzdem: Eine Souveränitätsstrategie, die auf einem einzelnen Werkzeug ruht, hat die Abhängigkeit nur verschoben.

Die Anbieterlandschaft polarisiert sich öffentlich. Anthropic hat Ende Juli eine Grundsatzposition zu Modellen mit offenen Gewichten veröffentlicht, die breit und kontrovers diskutiert wurde. Fast zeitgleich hat Moonshot die Gewichte von Kimi K3 freigegeben. Aus einer Fachdebatte ist eine Lagerbildung geworden, in der Beschaffung Position beziehen muss, statt sich auf einen Marktkonsens zu berufen.

Die geopolitische Dimension ist im Mainstream angekommen. In der öffentlichen Diskussion kursiert die Aussage, ein erheblicher Teil der Unternehmen setze inzwischen auf günstigere chinesische Modelle mit offenen Gewichten. Diese Zahl stammt aus einem Interview und ist nicht belegt. Als Marktstatistik taugt sie nicht, als Stimmungsbild schon: Die Frage US-Cloud oder chinesische Open Weights wird inzwischen auf Führungsebene gestellt.

Open Weights sind kein Freifahrtschein

Die Positionen sind sortierbar. Sebastian Raschka bringt den Nutzen offener Modelle auf den Punkt: Sie schaffen Prüfbarkeit, man kann Behauptungen nachvollziehen und Modelle auf eigener Hardware betreiben, ohne personenbezogene Daten und geistiges Eigentum an geschlossene Anbieter zu geben. Andrew Chen von a16z ergänzt die Marktseite und hält Spitzenmodelle für den überwiegenden Teil der Anwendungsfälle für überdimensioniert. Die Gegenposition ist ebenso klar: Viele dieser Modelle sind mangels Ressourcen lokal überhaupt nicht betreibbar.

Für Compliance zählt eine saubere Unterscheidung. Open Weights heißt: Die Gewichte sind herunterladbar, die Lizenz regelt die Nutzung. Trainingsdaten, Trainingscode und Reproduzierbarkeit gehören nicht dazu. Open Source nach der OSI-Definition (OSAID 1.0) verlangt zusätzlich Data Information: Herkunft, Umfang, Beschaffungs- und Auswahlmethoden, Labeling, Verarbeitung und Filterung.

GLM-5.2 und DeepSeek V4 Pro stehen unter MIT, einer echten OSI-Lizenz. Trotzdem sind sie nach OSAID kein Open Source AI, weil die Trainingsdaten fehlen. Eine permissive Lizenz auf den Gewichten und quelloffene KI sind zwei verschiedene Dinge. Genau hier muss die Rechtsabteilung hinsehen.

Kimi K3 trägt eine Lizenz mit Gewinnbeteiligungsklausel: Wer das Modell selbst betreibt, zahlt nichts. Wer es als kostenpflichtigen Dienst für Dritte anbietet, soll Erlöse teilen. Für Unternehmen, die KI-Funktionen in eigene Produkte einbauen, ist das eine vertragsrelevante Bedingung und keine Fußnote.

Der EU AI Act verschärft die Lage zusätzlich. Recital 104 verlangt für die Ausnahme freier und quelloffener Modelle öffentlich verfügbare Parameter, Gewichte sowie Architektur- und Nutzungsinformationen. Die Ausnahme deckt aber nur transparenzbezogene Pflichten. Die Zusammenfassung der Trainingsinhalte und die Einhaltung des Urheberrechts bleiben bestehen. Die Auslegungsfrage ist offen: Streng nach OSI fällt fast jedes Modell aus der Ausnahme. Locker als Open Weights gelesen, rutschen auch riskante Modelle durch. Beschaffung braucht deshalb eine eigene Lizenz- und AI-Act-Prüfung. Der Download-Link allein reicht nicht.

Die Kurve, gegen die man nicht festschreiben sollte

Zwischen diesen Signalen liegt eine Entwicklung, die in Beschaffungsvorlagen bisher kaum auftaucht, für Architekturentscheidungen aber wichtiger ist als jede Tagesmeldung: Die Klasse an Modellen, die auf eigener Hardware läuft, holt die Spitzenklasse in einem Tempo ein, das mit klassischen Investitionszyklen nicht Schritt hält.

Ein belegbares Beispiel: Alibaba hat im April 2026 ein dichtes Modell mit 27 Milliarden Parametern veröffentlicht, das auf einer einzelnen professionellen Grafikkarte läuft. Auf einem der härteren Maßstäbe für agentisches Programmieren erreicht es 77,2 Prozent und liegt damit vor dem eigenen Vorgänger-Spitzenmodell mit 397 Milliarden Parametern, das auf 76,2 Prozent kam. Rund fünfzehnmal kleiner, etwas besser, dreieinhalb Monate Abstand. Was im Frühjahr Rechenzentrumsklasse war, lief im Sommer am Arbeitsplatz.

Getrieben wird das von einem Wettbewerb, der von beiden Seiten Druck macht. Die Anbieter offener Modelle haben binnen weniger Wochen nachgelegt: Moonshot hat das bislang größte offene Modell freigegeben, DeepSeek und Zhipu stellen ihre Spitzenmodelle unter MIT-Lizenz, Alibaba öffnet erstmals überhaupt seine oberste Modellklasse. Auf der anderen Seite senken die geschlossenen Anbieter die Preise und veröffentlichen Grundsatzpositionen zu offenen Gewichten, was vor einem Jahr niemand für nötig hielt. Beide Lager arbeiten gerade an derselben Kurve.

Die Analystenerwartung zeigt in dieselbe Richtung. Gartner rechnet damit, dass die Inferenz auf einem Modell mit einer Billion Parametern im Jahr 2030 über 90 Prozent weniger kostet als 2025, gegenüber vergleichbaren Modellen von 2022 mit bis zu hundertfacher Kosteneffizienz. Treiber sind effizientere Halbleiter, besseres Modelldesign, höhere Auslastung, spezialisierte Inferenz-Hardware und der Einsatz von Endgeräten für bestimmte Anwendungsfälle. Beim Anteil lokaler Verarbeitung ist die Erwartung ähnlich klar: über zwei Drittel der Unternehmen mit KI am Netzrand bis 2029, gegenüber rund zehn Prozent im Jahr 2025.

Ein Vorbehalt gehört ausdrücklich dazu. Er stammt von Gartner selbst: Die Ersparnis kommt nicht eins zu eins beim Anwenderunternehmen an. Agentische Anwendungen verbrauchen deutlich mehr Token pro Aufgabe, was einen erheblichen Teil des Preisvorteils wieder aufzehrt. Billiger pro Token heißt nicht billiger pro Geschäftsvorfall.

Die Governance-Konsequenz ist trotzdem eindeutig. Sie lautet nicht „sofort alles nach innen“. Sie lautet: Keine Architekturentscheidung treffen, die den Wechsel teuer macht. Wer heute einen reinen Cloud-Betrieb festschreibt, mit fest verdrahteten Anbieter-Schnittstellen, mehrjähriger Bindung und ohne eigene Bewertungsfälle, wettet gegen die eigene Kostenkurve und verliert Verhandlungsposition in jeder Vertragsverlängerung. Umgekehrt ist eine überstürzte Hardware-Beschaffung genauso teuer, weil sie eine Momentaufnahme zementiert. Die belastbare Position liegt dazwischen: austauschbare Inferenz-Endpunkte, eigene Evaluierungsfälle statt fremder Ranglisten und eine Datenklassifizierung, die bereits weiß, welche Prozesse als erste nach innen wandern würden, sobald es sich rechnet.

Realistisch ist ein wachsender Anteil: ein Teil der Prozesslandschaft, der aus Gründen von Datenklasse, Volumen oder Latenz nach innen gehört und über die nächsten Jahre größer wird. Diesen Anteil sollte man kennen, bevor der nächste Rahmenvertrag unterschrieben wird.

Kosten, die im Business Case fehlen

Ein Satz aus der Debatte hat sich als geflügeltes Wort etabliert: Open Weights, closed by hardware. Wenn der Betrieb Hunderttausende an GPUs verlangt, ist es kein lokales Modell. Es ist ein Cloud-Modell mit herunterladbaren Gewichten. Auf Governance-Ebene übersetzt: Der Download der Gewichte ist eine Betriebsentscheidung mit voller Verantwortung im eigenen Haus. Was vorher im Vertrag mit dem Anbieter stand, steht danach im eigenen Betriebshandbuch. Das ist legitim. Es muss aber als solche Entscheidung getroffen und budgetiert werden.

Rohe GPU-Kosten machen nur 30 bis 40 Prozent der echten Infrastrukturinvestition aus. Als Faustregel gilt Faktor 2,5 bis 3 auf den Hardwarepreis. Die reale Auslastung in Produktion liegt bei 40 bis 65 Prozent, während viele Kalkulationen weiter mit 80 bis 90 Prozent rechnen und den Nutzen dadurch überzeichnen. Der produktive Inferenz-Stack kostet zusätzlich 10 bis 20 Stunden pro Monat für Aktualisierungen, Fehlersuche, Überwachung und Kapazitätsplanung.

Der Break-even gegen Spitzenmodell-API-Preise liegt bei etwa 2 bis 5 Millionen Token pro Tag über zwölf Monate. Gegen günstige Anbieter offener Modelle erst bei 50 Millionen Token pro Tag und mehr. Wer diese Schwellen verfehlt, finanziert mit lokaler KI eher ein Souveränitätsgefühl als einen belastbaren Kostenvorteil.

Dazu kommt Drift im Betrieb. Dokumentiert ist ein Fall, in dem ein Modell-Update die Anforderung an den Videospeicher um 10 Gigabyte erhöht hat. Ein Update kann die Hardware-Planung nachträglich entwerten. Wer nur den Anschaffungspreis freigibt und Betrieb, Aktualisierung sowie Kapazitätsrisiken ausblendet, beschließt einen Stack ohne belastbare Betriebsplanung.

Zwischen CLOUD Act und Open Weights

Deutsche Unternehmen wägen selten USA gegen China ab. Sie stehen zwischen US-Hyperscalern mit CLOUD-Act-Exposition und chinesischen Modellen mit offenen Gewichten. Lokaler Betrieb ist die Option, die beide Abhängigkeiten umgeht. Er kostet genau das, was oben steht.

Die Stufen nach Datenhoheit steigen so: US-Cloud mit bleibendem CLOUD-Act-Risiko, EU-Cloud mit besserer Datenresidenz aber weiter exponiert bei US-Mutterkonzern, souveräne Cloud und On-Premise, bei dem Daten das Haus nicht verlassen.

Wichtig für die Präzision: Die DSGVO erzwingt keinen lokalen Betrieb. Sie verlangt Schutz, Verträge und Datenresidenz. Wer lokale KI als DSGVO-Pflicht verkauft, argumentiert falsch. Lokal ist eine von mehreren Bauformen, die Compliance erreichen können. Die richtige Frage lautet, welche Datenklasse den Perimeter verlassen darf und welche Schutzziele mit welchem Betriebsmodell belastbar erreicht werden.

Firmengröße ist dabei kein Schwellenwert. Ein Steuerberater mit zwölf Leuten hat Mandantendaten, die das Haus oft nicht verlassen dürfen. Ein Konzern mit Zero-Trust-Cloud-Standard bleibt hybrid. Die Größe korreliert mit Budget, Personal und Risikoappetit. Die Ursache der Entscheidung liegt in Datenklasse und Betriebsfähigkeit.

Acht Fragen vor dem Beschluss

Ein Gremium braucht keine Scheingenauigkeit. Es braucht acht Fragen, die sich mit Ja oder Nein beantworten lassen. Häufen sich die Nein-Antworten, ist lokale KI als Standard-Stack nicht reif. Dann bleiben Pilot, Hybrid oder Cloud der ehrliche Weg.

1. Darf oder soll die betroffene Datenklasse den Perimeter verlassen?
2. Ist ein Verantwortlicher benannt, der IT, Fachbereich und Security zusammenführt?
3. Ist der Anwendungsfall eng genug beschrieben? Oder wird ein allgemeines Werkzeug beschafft?
4. Reicht die Qualität mittlerer offener Modelle nachweislich, gemessen an eigenen Fällen?
5. Sind neben der Hardware auch Dauerbetrieb, Aktualisierung, Überwachung und Modell-Updates budgetiert?
6. Ist die Lizenz geprüft, inklusive kommerzieller Nutzung und Weitergabe im eigenen Produkt?
7. Sind Anschlussleistung, Kühlung und Stellfläche geklärt?
8. Gibt es eine Ausstiegsstrategie in beide Richtungen, also auch zurück in die Cloud?

Das Ergebnis liest man als Freigabe- oder Stoppsignal, nie als Punktezahl. Jedes Nein ist ein offener Entscheidungsrest. Offen bleibt er nur so lange, bis jemand Verantwortung und Budget übernimmt.

Was Sie daraus mitnehmen sollten

Für die Governance-Ebene sind drei Konsequenzen wichtig, unabhängig davon, welches Lager am Ende recht behält.

Die Beschaffungsgrundlage muss vom Nachrichtentakt entkoppelt werden. Wenn eine Rangliste ein Modell bewertet, das noch nicht existiert, taugt sie nicht als Entscheidungsvorlage. Verbindlich ist, was das Unternehmen selbst an eigenen Fällen gemessen hat.

Die Lizenzprüfung gehört vor den Hardwarekauf, nicht danach. Eine permissive Lizenz auf Gewichten ist kein Freibrief. Gewinnbeteiligungsklauseln sind vertragsrelevant. Die Ausnahme im EU AI Act ist enger, als ihr Name vermuten lässt. Diese Prüfung kostet Tage. Eine falsch beschaffte GPU-Landschaft kostet Quartale.

Souveränität ist ein Betriebsmodell. Ein Download genügt dafür nicht. Sie beginnt dort, wo Verantwortung, Budget und Ausstieg mitbeschlossen sind. Lokale KI lohnt sich, wo Datenklasse, Volumen und Risiko den Eigenbetrieb tragen. Fehlt diese Grundlage, bleibt der lokale Stack ein teurer Umweg mit dem Gefühl von Kontrolle.

Und die Frage, die in zwölf Monaten anders zu beantworten sein wird als heute: Welcher Anteil der eigenen Prozesslandschaft gehört nach innen? Die Antwort lautet heute für die meisten Häuser noch: ein kleiner. Sie lautet nicht dauerhaft so. Wenn ein Modell auf einer einzelnen Karte innerhalb eines Quartals die Leistung eines fünfzehnmal größeren Vorgängers erreicht und zwei Analystenprognosen unabhängig voneinander in dieselbe Richtung zeigen, dann ist die relevante Vorbereitung nicht der Hardwarekauf. Es ist die Fähigkeit, den Anteil zu verschieben, ohne die Architektur neu zu bauen. Wer diese Beweglichkeit heute in Verträge und Schnittstellen schreibt, entscheidet später aus Stärke. Wer sie sich verbaut, verhandelt in zwei Jahren über eine Kostenbasis, die er selbst festgezurrt hat.

Häufig gestellte Fragen

Mehr aus dem MBF Media Netzwerk

cloudmagazin

Wenn GPUs den SaaS-Etat auffressen

mybusinessfuture

KI im Mittelstand vom Pilot zur Skalierung

securitytoday

Der AI Act ist in Wahrheit ein Security-Gesetz

Auch verfügbar in