Needle 2: 45-Millionen-Parameter-LLM in nur 14 MB
TL;DR
Needle 2 von Cactus Compute ist ein agentisches LLM, das komplett in 14 Megabyte passt. Mit 45 Millionen Parametern läuft es auf Minimal-Hardware wie dem Mikrocontroller ESP32S3, also ohne teure Geräte im Hintergrund. Statt Allzweck-Assistent zu sein, ist das Modell auf eng umrissene Aufgaben zugeschnitten. Spannend wird das überall dort, wo AI direkt im Gerät laufen soll statt in der Cloud.
Nauti's Take
14 Megabyte für ein agentisches Modell eröffnen ein Feld, das Cloud-LLMs bisher nicht erreichen: AI direkt auf Mikrocontrollern, ohne Latenz, ohne Datenabfluss, ohne laufende Kosten. Der Haken sind die 45 Millionen Parameter, damit deckt das Modell eng umrissene Aufgaben ab und bricht bei allem darüber hinaus ein.
Für Hardware- und IoT-Teams ist das vielversprechend, als Assistenzsystem taugt es nicht.
Video
Quellen