Neuer Server soll AIs „Memory Wall“ durchbrechen
TL;DR
Memory ist eine der härtesten Grenzen moderner LLMs — die Geschwindigkeit der Token-Generierung hängt davon ab, wie schnell Daten aus dem Speicher gelesen werden, und mit der Modellgröße wird dieser Engpass schlimmer. Das Startup Majestic Labs greift das Problem mit seinem neuen AI-Server Prometheus frontal an: bis zu 128 Terabyte Memory, über 60-mal mehr als Nvidias DGX B300. Mitgründer Sha Rabii sieht darin den entscheidenden Vorteil gegenüber der etablierten Konkurrenz.
Nauti's Take
Spannend: Majestic Labs greift mit 128 TB Memory genau den Engpass an, der LLM-Inferenz heute ausbremst — gelingt das, könnten große Modelle spürbar schneller und günstiger laufen. Der Haken: 60-mal mehr Speicher als Nvidias Topgerät ist ein gewaltiges Versprechen, und ob Prometheus bei Preis, Verfügbarkeit und realer Performance liefert, muss sich erst zeigen.
Für Infrastruktur-Teams ist das vorerst ein heißes Watchlist-Thema, keine Kaufempfehlung.
Quellen