AI-Fabrik statt Chipsammlung: Wie eigene XPUs ins Rechenzentrum passen
TL;DR
AI-Fabriken laufen rund um die Uhr, und ihre Wirtschaftlichkeit hängt am gelieferten Output: Tokens pro Sekunde, Tokens pro Watt, Kosten pro Token, Auslastung und Verfügbarkeit. Nvidia argumentiert im eigenen Blog, dass dafür die komplette Infrastruktur als Fabrik geplant werden muss und nicht als Ansammlung einzelner Beschleuniger. Hyperscaler und AI-Firmen, die eigene XPUs bauen, müssen Netzwerk, Kühlung und Software deshalb von Anfang an mitdenken.
Nauti's Take
Der Fokus auf Tokens pro Watt und Kosten pro Token ist ein Fortschritt gegenüber reinen Peak-Benchmarks, weil er Infrastruktur endlich an nutzbarem Output misst. Der Haken: Der Text stammt von Nvidia selbst und beschreibt eine Architektur, die die eigene Anbindung voraussetzt.
Profitieren werden vor allem Betreiber großer Cluster. Kleine Teams zahlen diese Rechnung indirekt über API-Preise und sollten dort auf Kosten pro erledigter Aufgabe achten.
Quellen