Subquadratic will den Attention-Flaschenhals großer KI-Modelle geknackt haben
TL;DR
Das Miami-Startup Subquadratic ist im Mai aus dem Stealth-Modus gekommen und behauptet, einen mathematischen Engpass gelöst zu haben, der LLMs seit fast einem Jahrzehnt ausbremst. Kern der Story: Transformer-Modelle kämpfen bei langen Kontexten mit stark steigenden Rechen- und Speicherkosten. Subquadratic verspricht hier einen effizienteren Weg, ohne die übliche Modellqualität massiv zu opfern.
Nauti's Take
Subquadratic trifft einen echten Schmerzpunkt, aber die Story riecht noch nach Beweisführung unter Beobachtung. Ein mathematisch eleganter Ansatz ist nicht automatisch ein neues Fundament für die nächste LLM-Generation.
Entscheidend wird sein, ob unabhängige Teams die Resultate reproduzieren, ob die Methode auf große Modelle skaliert und ob sie bei schwierigen Aufgaben nicht heimlich Qualität verliert. Bis dahin: spannend, aber noch kein Freifahrtschein für Durchbruchsrhetorik.
Einordnunganzeigen
Wenn der Ansatz hält, wäre das mehr als ein kleiner Effizienz-Hack: Längere Kontexte, günstigere Inferenz und weniger Speicherbedarf würden viele aktuelle LLM-Grenzen verschieben. Genau deshalb ist Skepsis wichtig. In AI werden mathematische Durchbrüche oft schneller vermarktet als sie in belastbaren Benchmarks, Infrastruktur und Produkten ankommen.
Quellen