RISC-V-CPU XuanTie C950 soll Qwen 3.8 ohne GPU ausführen
TL;DR
Alibaba hat mit der XuanTie C950 eine RISC-V-CPU vorgestellt, die in der AI-Hardware-Szene für Aufmerksamkeit sorgt. Laut The Stack läuft darauf das Qwen-3.8-Modell mit 27 Milliarden Parametern komplett ohne GPU. Die CPU schafft dabei 30 Tokens pro Sekunde, das erste Token kommt nach einer kurzen Wartezeit. Damit rückt lokale Inferenz auf reiner CPU-Basis wieder in den Bereich des Machbaren.
Nauti's Take
Die Richtung ist bemerkenswert: Wenn ein Modell mit 27 Milliarden Parametern mit 30 Tokens pro Sekunde auf einer reinen CPU läuft, wird lokale Inferenz für Teams ohne GPU-Budget wieder realistisch. Der Haken sind die Zahlen selbst, denn sie stammen aus Alibabas eigener Ankündigung und sagen nichts über Kontextlänge, Speicherbedarf und Dauerlast.
Wer On-Premise-Inferenz plant, sollte den Chip beobachten und erst nach unabhängigen Benchmarks damit rechnen.
Video
Quellen