09.08.2026
4 Min. Lesezeit

Wenn ein KI-Cluster langsam antwortet und GPUs freie Kapazität zeigen, kann die Verbindung zwischen den Beschleunigern ein Engpass sein. Dieselben Symptome können auch auf Wartezeiten, Speicher oder die Verarbeitung der Anfragen zurückgehen. IT-Leitungen brauchen deshalb Messungen entlang des gesamten Pfads, bevor sie weitere Hardware bestellen. Für Ethernet-basierte KI-Netze liegt seit Oktober 2026 die Ultra-Ethernet-Spezifikation 1.1 vor.

Das Wichtigste in Kürze

  • Freie GPU-Kapazität ist ein Warnsignal. Ob das Netz die Arbeit verzögert, zeigt erst die gemeinsame Auswertung von Anwendungs- und Netzwerkmessungen.
  • Anfragepfad und GPU-Verbindung brauchen eigene Messpunkte. So lässt sich eingrenzen, wo Zeit verloren geht und welche Investition hilft.
  • Ultra Ethernet wird weiterentwickelt. Version 1.1 erweitert die Spezifikation unter anderem um Funktionen für Staukontrolle und Netzwerküberwachung.

Wie sich ein Netzwerkengpass eingrenzen lässt

Eine langsamere Antwort bei geringer GPU-Auslastung ist ein Anlass zur Untersuchung. Sie allein zeigt noch nicht, ob das Netzwerk, der Speicher oder die Verarbeitung der Anfragen bremst. Für eine belastbare Diagnose müssen die Messungen denselben Zeitraum und dieselbe Last abdecken.

Bei Sprachmodellen gehören dazu die Zeit bis zum ersten ausgegebenen Token, die Zeit zwischen weiteren Tokens und der Durchsatz. NVIDIA beschreibt diese Kennzahlen und weist darauf hin, dass auch Warteschlangen, Netzwerklatenz und Speicherverhalten die Ergebnisse beeinflussen. Bei Vergleichen müssen unter anderem Anfragehäufigkeit und Parallelität gleich bleiben.

Daneben sollten Teams die GPU-Auslastung, die Dauer der Kommunikation zwischen Beschleunigern und die Auslastung der betroffenen Netzwerkports erfassen. Fällt eine lange Kommunikationsphase mit Verzögerungen im Netz zusammen, ist das eine prüfbare Hypothese für einen Engpass.

Welche Datenpfade getrennt betrachtet werden

Der Anfragepfad führt Anfragen zum Dienst und Antworten zurück. Im Cluster tauschen Beschleuniger und Knoten untereinander Daten aus. Je nach Anwendung und Verteilung der Arbeit entstehen dabei unterschiedliche Anforderungen an Bandbreite und Latenz.

Die Trennung hilft auch bei der Verantwortung: Plattform-, Netzwerk- und KI-Teams können gemeinsam feststellen, ob die Verzögerung beim Eingang einer Anfrage, während der Verarbeitung oder beim Datenaustausch im Cluster entsteht. Für die Budgetplanung ist diese Zuordnung entscheidend.

Ein Netzwerktest ergänzt die Messung der Anwendung. NVIDIAs Leitfaden nennt dafür unter anderem den All-Reduce-Test der NCCL-Testwerkzeuge. Er empfiehlt Vergleichsmessungen zwischen Knotenpaaren und eine dokumentierte Ausgangsmessung. Ein solcher Test zeigt die Leistung unter Testbedingungen. Ob sie für die eigene Anwendung genügt, muss zusätzlich im jeweiligen Workload geprüft werden.

Was Ultra Ethernet für die Auswahl bedeutet

Für die Verbindung von Beschleunigern kommen je nach System unterschiedliche Technologien infrage, darunter InfiniBand und Ethernet mit RDMA over Ethernet, kurz RoCE. Die Auswahl hängt von der Anwendung, der vorhandenen Infrastruktur und dem Betrieb ab. Ein allgemeiner prozentualer Leistungsvorsprung lässt sich daraus für den eigenen Cluster nicht ableiten.

Das Ultra Ethernet Consortium veröffentlichte Version 1.1 am 12. Oktober 2026. Nach Angaben des Konsortiums erweitert sie die Ethernet-basierte Spezifikation unter anderem bei Transport, Staukontrolle und Netzwerküberwachung. Die vorherige Version 1.0.3 war im Juli erschienen.

Für eine Beschaffung ist die Spezifikation ein Ausgangspunkt für Gespräche mit Herstellern. Welche Funktionen konkrete Produkte unterstützen und wie sie zusammenarbeiten, gehört in den Nachweis. Ein Test mit der eigenen Anwendung bleibt die Grundlage für den Vergleich.

Was vor der nächsten Bestellung auf den Tisch gehört

Die IT-Leitung kann die Entscheidung an drei Fragen binden: Wo entsteht die Wartezeit? Welche Änderung verbessert den eigenen Workload messbar? Welche Kosten entstehen für Ports, Module, Strom und Betrieb über die geplante Nutzungsdauer?

Ein Vergleich sollte dieselben Modelle, Lastprofile und Qualitätsziele verwenden. Neben der mittleren Antwortzeit gehören auch langsame Anfragen und der erreichte Durchsatz in die Bewertung. Bei Cloud-Diensten sind zusätzlich die jeweils gültigen Kosten für Datentransfers und die vertraglichen Bedingungen zu prüfen.

Erst wenn Messung und Test auf denselben Engpass zeigen, lässt sich entscheiden, ob eine Änderung am Netzwerk, an der Software oder an der Rechenkapazität den größten Nutzen verspricht.

Häufig gestellte Fragen

Woran lässt sich ein Netzwerkengpass erkennen?

Geringe GPU-Auslastung und steigende Antwortzeiten sind Hinweise. Eine Diagnose braucht ergänzende Messungen der Kommunikationsdauer, der Netzwerkports und anderer möglicher Ursachen im selben Lastzeitraum.

Ist Ethernet mit RoCE immer ein Ersatz für InfiniBand?

Die Eignung hängt vom Workload und den Betriebsanforderungen ab. Ein Vergleich unter gleichen Bedingungen zeigt, welche Lösung die benötigte Leistung im eigenen Cluster erreicht.

Was bringt die aktuelle Ultra-Ethernet-Spezifikation?

Version 1.1 erweitert nach Angaben des Konsortiums unter anderem Transport, Staukontrolle und Netzwerküberwachung. Die Unterstützung durch konkrete Produkte muss bei der Beschaffung geprüft werden.

Weiterlesen auf Digital Chiefs

Digital ChiefsAmazon und Alphabet: negativer Cashflow, lange BindungDigital ChiefsLocal AI: Governance vor dem HardwarekaufDigital ChiefsKI-Verordnung: bis zu 3 Prozent vom Konzernumsatz

Mehr aus dem MBF Media Netzwerk

cloudmagazinCloud-Knappheit: Was Q2 für Einkäufer bedeutet mybusinessfutureFinanzierungsklima Q2 2026: Kredite eng, Kapital da securitytodayDrohnen über KRITIS: Perimeter wird Cyber-OT

Bildquelle: KI-generiert (November 2026)

Diesen Beitrag teilen:

Auch verfügbar in

Weitere Beiträge

17.11.2026

KI-Wasserzeichen: Schonfrist für Bestandssysteme läuft aus

Eva Mickler

Am 2. Dezember endet die Übergangsfrist für die KI-Kennzeichnung nach Artikel 50 Absatz 2 der EU-KI-Verordnung. ...

Zum Beitrag
16.11.2026

Nur jedes dritte KI-Programm erfüllt seinen Business Case

Eva Mickler

Nur 33 Prozent von 502 befragten KI-Entscheidern sehen 2026 den Business Case ihres wichtigsten KI-Programms ...

Zum Beitrag
14.11.2026

KI-Gigafabriken hängen am nächsten EU-Haushalt

Bernhard Liebl

Die 27 EU-Staats- und Regierungschefs haben am 13. November in Dublin erstmals über KI beraten. Kommissionspräsidentin ...

Zum Beitrag
13.11.2026

KI-Reallabore: EU macht Begleitung für KMU kostenlos

Eva Mickler

Die EU-Kommission hat gemeinsame Regeln für KI-Reallabore beschlossen, ab 1. Dezember gelten sie. Kleine ...

Zum Beitrag
12.11.2026

Digital Fairness Act: EU will Abofallen austrocknen

Eva Mickler

Die Europäische Kommission hat am Mittwoch den Digital Fairness Act vorgeschlagen. Er soll Onlinepreise ...

Zum Beitrag
11.11.2026

EuGH-Gutachten: Wo KI-Chatbots Presserechte verletzen

Eva Mickler

Der Echtzeitabruf von Presseartikeln durch KI-Chatbots und ihre Weiterverwendung in Antworten können ...

Zum Beitrag
Ein Magazin der Evernine Media GmbH