KI-Wasserzeichen: Schonfrist für Bestandssysteme läuft aus
Eva Mickler
Am 2. Dezember endet die Übergangsfrist für die KI-Kennzeichnung nach Artikel 50 Absatz 2 der EU-KI-Verordnung. ...
Wenn ein KI-Cluster langsam antwortet und GPUs freie Kapazität zeigen, kann die Verbindung zwischen den Beschleunigern ein Engpass sein. Dieselben Symptome können auch auf Wartezeiten, Speicher oder die Verarbeitung der Anfragen zurückgehen. IT-Leitungen brauchen deshalb Messungen entlang des gesamten Pfads, bevor sie weitere Hardware bestellen. Für Ethernet-basierte KI-Netze liegt seit Oktober 2026 die Ultra-Ethernet-Spezifikation 1.1 vor.
Das Wichtigste in Kürze
Eine langsamere Antwort bei geringer GPU-Auslastung ist ein Anlass zur Untersuchung. Sie allein zeigt noch nicht, ob das Netzwerk, der Speicher oder die Verarbeitung der Anfragen bremst. Für eine belastbare Diagnose müssen die Messungen denselben Zeitraum und dieselbe Last abdecken.
Bei Sprachmodellen gehören dazu die Zeit bis zum ersten ausgegebenen Token, die Zeit zwischen weiteren Tokens und der Durchsatz. NVIDIA beschreibt diese Kennzahlen und weist darauf hin, dass auch Warteschlangen, Netzwerklatenz und Speicherverhalten die Ergebnisse beeinflussen. Bei Vergleichen müssen unter anderem Anfragehäufigkeit und Parallelität gleich bleiben.
Daneben sollten Teams die GPU-Auslastung, die Dauer der Kommunikation zwischen Beschleunigern und die Auslastung der betroffenen Netzwerkports erfassen. Fällt eine lange Kommunikationsphase mit Verzögerungen im Netz zusammen, ist das eine prüfbare Hypothese für einen Engpass.
Der Anfragepfad führt Anfragen zum Dienst und Antworten zurück. Im Cluster tauschen Beschleuniger und Knoten untereinander Daten aus. Je nach Anwendung und Verteilung der Arbeit entstehen dabei unterschiedliche Anforderungen an Bandbreite und Latenz.
Die Trennung hilft auch bei der Verantwortung: Plattform-, Netzwerk- und KI-Teams können gemeinsam feststellen, ob die Verzögerung beim Eingang einer Anfrage, während der Verarbeitung oder beim Datenaustausch im Cluster entsteht. Für die Budgetplanung ist diese Zuordnung entscheidend.
Ein Netzwerktest ergänzt die Messung der Anwendung. NVIDIAs Leitfaden nennt dafür unter anderem den All-Reduce-Test der NCCL-Testwerkzeuge. Er empfiehlt Vergleichsmessungen zwischen Knotenpaaren und eine dokumentierte Ausgangsmessung. Ein solcher Test zeigt die Leistung unter Testbedingungen. Ob sie für die eigene Anwendung genügt, muss zusätzlich im jeweiligen Workload geprüft werden.
Für die Verbindung von Beschleunigern kommen je nach System unterschiedliche Technologien infrage, darunter InfiniBand und Ethernet mit RDMA over Ethernet, kurz RoCE. Die Auswahl hängt von der Anwendung, der vorhandenen Infrastruktur und dem Betrieb ab. Ein allgemeiner prozentualer Leistungsvorsprung lässt sich daraus für den eigenen Cluster nicht ableiten.
Das Ultra Ethernet Consortium veröffentlichte Version 1.1 am 12. Oktober 2026. Nach Angaben des Konsortiums erweitert sie die Ethernet-basierte Spezifikation unter anderem bei Transport, Staukontrolle und Netzwerküberwachung. Die vorherige Version 1.0.3 war im Juli erschienen.
Für eine Beschaffung ist die Spezifikation ein Ausgangspunkt für Gespräche mit Herstellern. Welche Funktionen konkrete Produkte unterstützen und wie sie zusammenarbeiten, gehört in den Nachweis. Ein Test mit der eigenen Anwendung bleibt die Grundlage für den Vergleich.
Die IT-Leitung kann die Entscheidung an drei Fragen binden: Wo entsteht die Wartezeit? Welche Änderung verbessert den eigenen Workload messbar? Welche Kosten entstehen für Ports, Module, Strom und Betrieb über die geplante Nutzungsdauer?
Ein Vergleich sollte dieselben Modelle, Lastprofile und Qualitätsziele verwenden. Neben der mittleren Antwortzeit gehören auch langsame Anfragen und der erreichte Durchsatz in die Bewertung. Bei Cloud-Diensten sind zusätzlich die jeweils gültigen Kosten für Datentransfers und die vertraglichen Bedingungen zu prüfen.
Erst wenn Messung und Test auf denselben Engpass zeigen, lässt sich entscheiden, ob eine Änderung am Netzwerk, an der Software oder an der Rechenkapazität den größten Nutzen verspricht.
Geringe GPU-Auslastung und steigende Antwortzeiten sind Hinweise. Eine Diagnose braucht ergänzende Messungen der Kommunikationsdauer, der Netzwerkports und anderer möglicher Ursachen im selben Lastzeitraum.
Die Eignung hängt vom Workload und den Betriebsanforderungen ab. Ein Vergleich unter gleichen Bedingungen zeigt, welche Lösung die benötigte Leistung im eigenen Cluster erreicht.
Version 1.1 erweitert nach Angaben des Konsortiums unter anderem Transport, Staukontrolle und Netzwerküberwachung. Die Unterstützung durch konkrete Produkte muss bei der Beschaffung geprüft werden.
Weiterlesen auf Digital Chiefs
Digital ChiefsAmazon und Alphabet: negativer Cashflow, lange BindungDigital ChiefsLocal AI: Governance vor dem HardwarekaufDigital ChiefsKI-Verordnung: bis zu 3 Prozent vom KonzernumsatzMehr aus dem MBF Media Netzwerk
cloudmagazinCloud-Knappheit: Was Q2 für Einkäufer bedeutet mybusinessfutureFinanzierungsklima Q2 2026: Kredite eng, Kapital da securitytodayDrohnen über KRITIS: Perimeter wird Cyber-OTBildquelle: KI-generiert (November 2026)
Sie müssen den Inhalt von reCAPTCHA laden, um das Formular abzuschicken. Bitte beachten Sie, dass dabei Daten mit Drittanbietern ausgetauscht werden.
Mehr InformationenSie sehen gerade einen Platzhalterinhalt von Turnstile. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Mehr InformationenSie sehen gerade einen Platzhalterinhalt von Facebook. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Mehr InformationenSie sehen gerade einen Platzhalterinhalt von Instagram. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Mehr InformationenSie sehen gerade einen Platzhalterinhalt von X. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Mehr Informationen