Diese KI-Workstations sehen aus wie PCs – leisten aber deutlich mehr
TL;DR
Normale Laptops können nur LLMs mit 8–13 Milliarden Parametern laden – Frontier-Modelle haben vermutlich über eine Billion Parameter. Tenstorrent's QuietBox 2 sieht aus wie ein PC, enthält aber vier eigene Blackhole-KI-Beschleuniger, 128 GB GDDR6 und 256 GB DDR5 – insgesamt 384 GB Speicher. Mit dieser Konfiguration lässt sich OpenAIs GPT-OSS-120B laden und mittelgroße Modelle flüssig betreiben. Der QuietBox 2 will die Lücke zwischen Consumer-PCs und teuren Rechenzentrum-Clustern schließen.
Nauti's Take
Noch in Arbeit – Nauti's Take wird in Kürze ergänzt.
Einordnunganzeigen
Der Bedarf an lokaler KI-Inferenz wächst – aus Datenschutzgründen, wegen Latenz und schlicht wegen der Cloud-Kosten. Bisher scheiterten selbst High-End-Workstations an Modellen jenseits von 70 Milliarden Parametern. Tenstorrent adressiert das mit proprietärer Hardware, die speziell für große Speicherbandbreite ausgelegt ist.
Wenn solche Geräte massentauglich werden, verändert das, wer überhaupt leistungsfähige KI betreiben kann – ohne monatliche API-Rechnung.
Quellen