China kauft weiterhin kaputte Nvidia-Karten, um seine KI-Modelle zu trainieren

Die USA gingen letztes Jahr aggressiv vor, um Chinas Fähigkeit zur Entwicklung künstlicher Intelligenz für militärische Zwecke einzuschränken, und blockierten dort den Verkauf der fortschrittlichsten US-Chips, die zum Trainieren von KI-Systemen verwendet werden.

Große Fortschritte bei den Chips, die zur Entwicklung generativer KI verwendet werden, haben dazu geführt, dass die neueste US-Technologie, die in China zum Verkauf steht, leistungsfähiger ist als alles, was zuvor verfügbar war. Dies trotz der Tatsache, dass die Chips absichtlich für den chinesischen Markt eingeschränkt wurden, um ihre Leistungsfähigkeit einzuschränken, wodurch sie weniger effektiv sind als Produkte, die anderswo auf der Welt erhältlich sind.

Das Ergebnis war ein sprunghaft ansteigender Anstieg der chinesischen Bestellungen für die neuesten fortschrittlichen US-Prozessoren. Chinas führende Internetunternehmen haben Chips im Wert von 5 Milliarden US-Dollar bei Nvidia bestellt, dessen Grafikverarbeitungseinheiten zum Arbeitspferd für das Training großer KI-Modelle geworden sind.

Die Auswirkungen der steigenden weltweiten Nachfrage nach Nvidia-Produkten dürften die Finanzergebnisse des Chipherstellers für das zweite Quartal untermauern, die am Mittwoch bekannt gegeben werden sollen.

Der Ansturm spiegelte nicht nur die Nachfrage nach verbesserten Chips zum Trainieren der neuesten großen Sprachmodelle der Internetunternehmen wider, sondern auch die Sorge, dass die USA ihre Exportkontrollen weiter verschärfen könnten, sodass selbst diese begrenzten Produkte in Zukunft nicht mehr verfügbar sein könnten.

Allerdings deutete Bill Dally, Nvidias Chefwissenschaftler, an, dass die US-Exportkontrollen in Zukunft größere Auswirkungen haben würden.

„Da sich der Schulungsbedarf [für die fortschrittlichsten KI-Systeme] weiterhin alle sechs bis zwölf Monate verdoppelt“, wird die Kluft zwischen den in China verkauften und den im Rest der Welt verfügbaren Chips „schnell wachsen“, sagte er.

Begrenzung der Verarbeitungsgeschwindigkeiten

Die US-Exportkontrollen für Chips im vergangenen Jahr waren Teil eines Pakets, das unter anderem dazu führte, dass chinesische Kunden daran gehindert wurden, die für die Herstellung fortschrittlicher Chips benötigte Ausrüstung zu kaufen.

Washington hat eine Obergrenze für die maximale Verarbeitungsgeschwindigkeit von Chips festgelegt, die in China verkauft werden dürfen, sowie für die Geschwindigkeit, mit der die Chips Daten übertragen können – ein entscheidender Faktor, wenn es um das Training großer KI-Modelle geht, eine datenintensive Aufgabe, die erforderlich ist eine große Anzahl von Chips miteinander verbinden.

Nvidia reagierte, indem es die Datenübertragungsrate seiner A100-Prozessoren senkte, damals seine Spitzen-GPUs, und schuf ein neues Produkt für China namens A800, das den Exportkontrollen entsprach.

In diesem Jahr folgte die Einführung von Datenübertragungsbeschränkungen für den H100, einen neuen und weitaus leistungsstärkeren Prozessor, der speziell für das Training großer Sprachmodelle entwickelt wurde, und schuf eine Version namens H800 für den chinesischen Markt.

Der Chiphersteller hat die technischen Fähigkeiten der für China hergestellten Prozessoren nicht bekannt gegeben, Computerhersteller äußerten sich jedoch offen zu den Details. Lenovo bewirbt beispielsweise Server mit H800-Chips, die nach eigener Aussage in jeder Hinsicht mit den anderswo auf der Welt verkauften H100 identisch seien, mit der Ausnahme, dass sie nur eine Übertragungsrate von 400 Gigabyte pro Sekunde hätten.

Das liegt unter der Grenze von 600 GB/s, die die USA für Chip-Exporte nach China festgelegt haben. Zum Vergleich: Nvidias H100, das Anfang des Jahres an Kunden ausgeliefert wurde, verfügt laut Angaben von Nvidia über eine Übertragungsrate von 900 GB/s.

Die niedrigere Übertragungsrate in China bedeutet, dass Benutzer der dortigen Chips mit längeren Schulungszeiten für ihre KI-Systeme konfrontiert sind als Nvidias Kunden anderswo auf der Welt – eine wichtige Einschränkung, da die Modelle immer größer geworden sind.

Die längeren Trainingszeiten erhöhen die Kosten, da Chips mehr Strom verbrauchen müssen, was bei großen Modellen einer der größten Kostenfaktoren ist.

Doch trotz dieser Einschränkungen sind die in China zum Verkauf stehenden H800-Chips leistungsstärker als alle anderen vor diesem Jahr erhältlichen Chips, was zu einer enormen Nachfrage führt.

Laut Patrick Moorhead, einem US-Chipanalysten bei Moor Insights & Strategy, sind die H800-Chips fünfmal schneller als die A100-Chips, die Nvidias leistungsstärkste GPUs waren.

Das bedeutet, dass chinesische Internetunternehmen, die ihre KI-Modelle mit Spitzenchips trainiert haben, die vor den US-Exportkontrollen gekauft wurden, immer noch mit großen Verbesserungen durch den Kauf der neuesten Halbleiter rechnen können, sagte er.

„Es scheint, dass die US-Regierung Chinas KI-Bemühungen nicht zum Erliegen bringen will, sondern sie erschweren will“, sagte Moorhead.

Kosten-Nutzen

Viele chinesische Technologieunternehmen befinden sich noch in der Phase des Vortrainings großer Sprachmodelle, was den einzelnen GPU-Chips viel Leistung abverlangt und ein hohes Maß an Datenübertragungsfähigkeit erfordert.

Nur die Chips von Nvidia können die für das Vortraining erforderliche Effizienz bieten, sagen chinesische KI-Ingenieure. Die Leistung der einzelnen Chips der 800er-Serie liegt trotz der abgeschwächten Übertragungsgeschwindigkeiten immer noch vor anderen auf dem Markt.

„Nvidias GPUs mögen teuer erscheinen, sind aber tatsächlich die kostengünstigste Option“, sagte ein KI-Ingenieur bei einem führenden chinesischen Internetunternehmen.

Andere GPU-Anbieter boten niedrigere Preise und einen schnelleren Service an, sagte der Ingenieur, aber das Unternehmen geht davon aus, dass die Schulungs- und Entwicklungskosten steigen würden und dass die zusätzliche Belastung durch Unsicherheit entstehen würde.

Das Angebot von Nvidia umfasst das Software-Ökosystem mit seiner Computerplattform Compute Unified Device Architecture (Cuda), das 2006 eingerichtet wurde und Teil der KI-Infrastruktur geworden ist.

Branchenanalysten glauben, dass chinesische Unternehmen bald mit Einschränkungen bei der Geschwindigkeit der Verbindungen zwischen den Chips der 800er-Serie konfrontiert sein könnten. Dies könnte ihre Fähigkeit beeinträchtigen, mit der zunehmenden Datenmenge umzugehen, die für das KI-Training erforderlich ist, und sie werden behindert, wenn sie sich tiefer mit der Erforschung und Entwicklung großer Sprachmodelle befassen.

Charlie Chai, ein in Shanghai ansässiger Analyst bei 86Research, verglich die Situation mit dem Bau vieler Fabriken mit überlasteten Autobahnen dazwischen. Selbst Unternehmen, die die geschwächten Chips aufnehmen können, könnten in den nächsten zwei oder drei Jahren mit Problemen konfrontiert werden, fügte er hinzu.

© 2023 The Financial Times Ltd. Alle Rechte vorbehalten. Bitte kopieren Sie keine FT-Artikel, fügen Sie sie nicht ein und verteilen Sie sie nicht per E-Mail oder per Post im Internet.