Subquadratic will ein zentrales Effizienzproblem großer KI-Modelle gelöst haben
TL;DR
Subquadratic, ein AI-Startup aus Miami, ist im Mai aus dem Stealth-Modus gekommen und behauptet, ein mathematisches Kernproblem gelöst zu haben, das LLMs seit Jahren ausbremst. Im Zentrum steht die quadratische Skalierung von Attention: Wenn der Kontext länger wird, steigen Rechenaufwand und Speicherbedarf sehr schnell statt nur linear. Die ersten Aussagen waren dünn und wurden in der Szene skeptisch aufgenommen. Nun legt Subquadratic erste Belege nach, aber noch keine breite, unabhängige Bestätigung.
Nauti's Take
Das klingt nach einer dieser Meldungen, bei denen Mathematik, Startup-Story und Wunschdenken gefährlich eng beieinanderliegen. Trotzdem lohnt sich Aufmerksamkeit: Wenn Subquadratic wirklich die Attention-Kosten drückt, wäre das mehr als ein Modell-Update.
Bis unabhängige Tests und echte LLM-Workloads vorliegen, bleibt es aber ein spannender Claim, kein Wendepunkt.
Einordnunganzeigen
Wenn SubQ hält, was die Tests andeuten, wären lange Kontexte nicht mehr nur teure Demo-Fenster. Ganze Codebasen, Dokumentensammlungen oder Datenräume könnten in einem Lauf verarbeitet werden, ohne RAG-Workarounds und Chunking so stark zu brauchen. Der Haken: Ein Benchmark kann Alltag, Stabilität, Latenz, Preise und Edge Cases nicht ersetzen.
Quellen