Wenn das Netz limitiert und nicht die GPU

Viele IT-Leitungen bauen GPU-Kapazität aus und warten dennoch auf Antwortzeiten. Freie Compute-Slots und steigende Inter-Token-Latenz passen nicht zusammen. Cisco ordnet AI-Inferenz am 23. Juli 2026 ausdrücklich als Netzwerkthema ein: Datenbewegung wird zum primären Flaschenhals der GPU-Leistung. Aus dem Symptom wird eine Architekturentscheidung.

Das Wichtigste in Kürze

VerwandtLocal AI: Governance vor dem Hardwarekauf  /  EU Data Act: Switching-Pflichten für Cloud-Portfolios

Wenn freie GPUs trotzdem warten

Was ist eine AI-Back-End-Fabric? Die AI-Back-End-Fabric verbindet zwei Netze: ein Nord-Süd-Request-Netz führt Anfragen zu den Clustern und Ergebnisse zurück. Eine Ost-West-GPU-Fabric (NVLink, InfiniBand oder RDMA over Ethernet) koppelt die Beschleuniger untereinander. Collectives wie All-Reduce bestimmen dort die Step-Time, weil jeder Training- oder Inferenzschritt auf den Datenaustausch zwischen GPUs wartet.

Für die IT-Leitung ist das Erkennungsbild klar. Die Inter-Token-Latenz steigt, obwohl Compute-Kapazität frei ist. Ost-West-Collectives wie All-Reduce dominieren die Step-Time. Cisco fasst den Kern am 23. Juli 2026 so: „data movement is now the primary bottleneck for GPU performance“

Das Symptom wirkt betrieblich wie ein Kapazitätsproblem. Teams ordern mehr GPUs und messen dennoch längere Wartezeiten pro Token oder pro Trainingsschritt. Die Diagnose verschiebt sich dann von der Rechenressource auf den Datenweg zwischen den Knoten. Wer das übersieht, finanziert ungenutzte Beschleuniger und belässt den Flaschenhals im Fabric-Design.

Agentische Workloads verstärken den Druck auf die Nord-Süd-Seite. Eine Cisco-Studie prognostiziert, dass agentic AI den Enterprise-Traffic bis 2035 um den Faktor 9 steigern kann. Mehr Requests treffen auf Cluster, die intern bereits an Ost-West-Bandbreite und Latenz hängen. IT-Leitungen brauchen daher Messpunkte auf beiden Pfaden und klare Ownership für die Fabric, die die Step-Time bestimmt.

Zwei Fabrics, ein gemeinsamer Engpass

AI-Inferenz hängt an zwei verbundenen, aber verschiedenen Fabrics. Das Nord-Süd-Request-Netz bringt Last an und liefert Antworten. Die Ost-West-GPU-Fabric hält die Collectives am Laufen. NVLink, InfiniBand oder RDMA over Ethernet übernehmen dort die Hochgeschwindigkeitskopplung. Fehler in der Trennung der beiden Ebenen erzeugen falsche Investitionsreihenfolgen.

Wenn das Request-Netz skaliert und die GPU-Fabric stockt, bleibt die Inferenz langsam. Wenn die GPU-Fabric stark ist und das Request-Netz überlastet, steigen Wartezeiten am Einstieg. Die Entscheidung beginnt deshalb mit einer Lastkarte: welcher Anteil der Step-Time entfällt auf All-Reduce und verwandte Collectives, welcher auf Ingress und Egress. Ohne diese Aufteilung bleiben Budgetdiskussionen spekulativ.

Für Infrastruktur-Verantwortliche folgt daraus eine organisatorische Konsequenz. Netzwerk, Plattform und AI-Betrieb brauchen gemeinsame Metriken. Inter-Token-Latenz, Collective-Dauer und Port-Auslastung gehören in dieselben Reviews wie GPU-Utilisation. Erst dann steuert die Leitung dort nach, wo der Takt wirklich bricht.

Warum Ethernet im AI-Backend so schnell anzieht

Die Dell’Oro Group markiert 2025 als Wendepunkt: Ethernet übertraf InfiniBand bei der Marktadoption in AI-Back-End-Netzwerken. Zwei Jahre zuvor lag InfiniBand noch bei rund 80 Prozent. Als Dell’Oro Ende 2023 die AI-Back-End-Coverage startete, hielt InfiniBand rund 80 Prozent Marktanteil. Der Wechsel in der Adoption ist also jung und steil.

Die Port-Geschwindigkeiten beschleunigen parallel. 800-Gbps-Switch-Ports haben binnen drei Jahren nach Auslieferungsstart die Marke von 20 Millionen Ports klar überschritten. 400 Gbps brauchte dafür sechs bis sieben Jahre. Laut Dell’Oro-Prognose liegt die Mehrheit der Switch-Ports in AI-Back-End-Netzen bis 2025 bei 800 Gbps, bis 2027 bei 1600 Gbps und bis 2030 bei 3200 Gbps. Das sind Prognosen und keine Ist-Zahlen.

2026 wird laut Dell’Oro das erste Jahr mit Volumenlieferungen von 1,6-Tbps-Switches. Der Hochlauf soll schneller verlaufen als bei 800 Gbps und binnen ein bis zwei Jahren 5 Millionen Ports überschreiten. Auch hier gilt der Prognose-Vorbehalt. Für Budgetplanung bedeutet das: die nächste Port-Generation steht vor der Tür, während 800G gerade erst flächig ankommt.

Ökonomisch ist die Bewegung groß. Ethernet im AI-Backend kann in fünf Jahren rund 69 Milliarden Euro Switch-Umsatz erzeugen. Wer heute Fabrics plant, plant also in einem Markt, der Port-Dichte, Optik und Betriebsmodelle in kurzen Zyklen erneuert. Wartezeiten von mehreren Jahren zwischen Generationen sind dort nicht mehr der Normalfall.

Standards, RoCEv2 und die InfiniBand-Gegenposition

Das Ultra Ethernet Consortium veröffentlichte am 11. Juni 2025 die UEC Specification 1.0 als Ethernet-Kommunikationsstack für AI und HPC. Spec 1.0 adressiert modernes RDMA über Ethernet und IP, offene Interoperabilität und Skalierung bis in den Millionenbereich an Endpunkten. Für IT-Leitungen ist das relevant, weil es den Weg zu multi-vendor-fähigen AI-Fabrics auf Ethernet-Basis beschreibt.

Parallel beschleunigt die IEEE die physikalische Schicht. IEEE 802.3df-2024 für 800 GbE entstand in rund 16 Monaten und damit vier Monate vor Plan. Die IEEE-Task-Force P802.3dj für 200, 400, 800 Gb/s und 1,6 Tb/s auf Basis von mindestens 200 Gb/s Signaling ist planmäßig auf Abschluss 2026 terminiert. Standards und Lieferfähigkeit laufen damit enger zusammen als in früheren Ethernet-Zyklen.

Eine Einzelmeldung meldete am 20. Juli 2026 die Freigabe der Ultra Ethernet Specification 1.0.3 mit Release-Datum 16. Juli 2026 und einer Ergänzung um 200 Gb/s je Lane. Diese Angabe stammt aus einer Einzelquelle und ist entsprechend vorsichtig zu lesen. Sie belegt keinen abschließend bestätigten Marktstandard, signalisiert aber Bewegung im Spec-Stack.

Die Gegenposition bleibt im Feld sichtbar. In der Praxis-Diskussion 2025 und 2026 wird InfiniBand weiterhin mit niedrigerer Latenz und höherer All-Reduce-Bandbreite argumentiert. Gut getuntes RoCEv2 kommt nah heran, bleibt bei Collective-Bandwidth aber oft 15 bis 25 Prozent unter InfiniBand. Wer Ethernet wählt, wählt Betriebsbreite, Lieferkette und Ökosystem und muss die mögliche Collective-Lücke in der Architektur und im Tuning absichern.

Was Ports, Module und Egress im Budget bedeuten

Die technische Entscheidung trifft auf harte Betriebszahlen. 800G-Module liegen je nach Reichweite und DSP typischerweise bei 14 bis 24 Watt Leistungsaufnahme. 400G-Module liegen oft bei 10 bis 12 Watt, sind aber je übertragenem Bit weniger effizient. Mehr Port-Speed entlastet also nicht nur die Step-Time. Sie verändert Kühlung, Power-Budget und Rack-Planung.

Als Größenordnung aus dem Retail: ein NVIDIA-kompatibles 800G-OSFP-SR8-Modul für 50 Meter Multimode kostet bei FS.com rund 762 Euro. Das ist kein verbindlicher Beschaffungspreis, gibt aber die Größenordnung je Optik. Multipliziert mit der Port-Dichte einer AI-Fabric entsteht schnell ein Investitionsblock, der die reine Switch-Hardware übersteigt.

Hinzu kommt der Nord-Süd-Kostenhebel der Cloud. Bei Google Cloud Data Transfer Out nach Europa im Premium Tier ist das erste GiB je Monat und Konto frei. Danach liegen die Stufen bei rund 0,10 Euro je GiB bis 1.024 GiB, rund 0,095 Euro je GiB bis 10.240 GiB und darüber rund 0,074 Euro je GiB. AWS berechnet Data Transfer Out ins Internet in den meisten US-Regionen nach 100 GB Free Tier je Monat in der ersten Stufe rund 0,078 Euro je GB, danach sinkende Staffeln. Die AWS-Angabe ist eine Größenordnung aus einer Sekundärquelle.

IONOS, einer der führenden europäischen Cloud- und Hosting-Anbieter, migrierte von InfiniBand auf Ethernet mit Enterprise SONiC, RoCEv2 und EVPN-VXLAN und skaliert eine 400G-Data-Center-Fabric. Das Beispiel zeigt eine real betriebene Ethernet-AI- und HPC-nahe Architektur im europäischen Umfeld. Es ersetzt keinen Lasttest im eigenen Workload. Es belegt aber, dass der Stack aus offenem Netzwerk-OS, RoCEv2 und EVPN-VXLAN in Produktion skalierbar aufgesetzt wird.

Welche Entscheidungen jetzt anstehen

Zuerst gehört das Symptom in das Betriebsreporting. Inter-Token-Latenz, All-Reduce-Dauer und freie GPU-Zeit laufen parallel. Steigt die Latenz bei freier Compute-Kapazität, priorisiert die Leitung Fabric und Optik vor weiteren Beschleunigern. Das schützt Capex und verkürzt die Zeit bis zur spürbaren Leistungsverbesserung.

Zweitens trennt die Architektur Nord-Süd und Ost-West sauber. Request-Pfade, Egress-Kosten und Sicherheitszonen gehören in die eine Betrachtung. Collective-Bandbreite, RDMA-Verhalten, Congestion Control und Port-Generationen gehören in die andere. Mischkalkulationen erzeugen Scheingenauigkeit und falsche Ausschreibungen.

Drittens wählt die Organisation den Transport- und Betriebsstack bewusst. InfiniBand bleibt dort argumentierbar, wo Collective-Bandwidth und Latenz die harte Grenze setzen und die mögliche 15-bis-25-Prozent-Lücke von RoCEv2 den Business Case kippt. Ethernet mit RoCEv2, offenen Spezifikationen und wachsender Port-Ökonomie ist dort stark, wo Skalierung, Lieferfähigkeit, Multi-Vendor-Betrieb und Integration in bestehende Data-Center-Fabrics zählen. Die UEC Specification 1.0 und die IEEE-Port-Roadmap stützen diese Option, ersetzen aber kein eigenes Tuning und keinen Proof of Concept.

Viertens rechnet die Leitung die Total Cost über Port, Modul, Watt und Data Transfer. 800G und laut Prognose bald 1,6 Tbps erhöhen Durchsatz und verändern Strom sowie Optikbudget. Egress-Staffeln in der Cloud entscheiden mit, ob Inferenz-Ergebnisse im eigenen Fabric bleiben oder teuer abfließen. Wer diese vier Linien zusammenführt, merkt früh, ob das Netz den Takt vorgibt – und steuert dort nach, bevor die nächste GPU-Bestellung den Engpass nur teurer macht.

Häufig gestellte Fragen

Bildquelle: KI-generiert (August 2026)

Mehr aus dem MBF Media Netzwerk