Subquadratic will den Attention-Flaschenhals großer KI-Modelle geknackt haben
TL;DR
Das Miami-Startup Subquadratic ist im Mai aus dem Stealth-Modus gekommen und behauptet, einen mathematischen Engpass bei großen Sprachmodellen gelöst zu haben. Gemeint ist der Kostenblock hinter langer Kontextverarbeitung: Viele Transformer-Modelle müssen Beziehungen zwischen Tokenpaaren berechnen, was mit längeren Eingaben schnell teuer wird. Die ersten Details waren dünn, deshalb blieb die Reaktion vieler Fachleute skeptisch. Laut MIT Technology Review legt Subquadratic nun erste Belege nach.
Nauti's Take
Der interessanteste Teil ist nicht der Startup-Launch, sondern der Angriff auf die Mathematik unter dem Hype. Wer den Attention-Engpass wirklich entschärft, verändert die Kostenrechnung für lange Dokumente, Agentenläufe und Suche über große Arbeitskontexte.
Aber der Maßstab muss hart bleiben: Paper, reproduzierbare Benchmarks, reale Hardware, echte Modelle. Bis dahin ist Subquadratic ein spannender Kandidat mit sehr großer Beweislast.
Einordnunganzeigen
Wenn Subquadratic recht hat, könnte ein Kernproblem der LLM-Skalierung günstiger werden: lange Kontexte, schnellere Inferenz und weniger Speicherlast. Das würde nicht automatisch bessere Modelle liefern, aber es könnte mehr praktische Anwendungen ermöglichen, die heute an Kosten und Latenz hängen. Genau deshalb ist Skepsis wichtig: Bei Grundlagen-Claims zählen Beweise stärker als Demos.
Quellen