Wie ein 8-Dollar-Microcontroller ein LLM mit 28,9M Parametern lokal ausführt
TL;DR
Ein ESP32 S3 für 8 Dollar hat 0,5 MB schnelles SRAM und 8 MB langsameres PSRAM und wird normalerweise für Kleinkram wie WLAN-Verwaltung eingesetzt. The Stack zeigt, wie darauf trotzdem ein Sprachmodell mit 28,9 Millionen Parametern läuft. Möglich wird das durch hardwarenahe Optimierungen und eine Reihe kreativer Engineering-Tricks. Ein gutes Beispiel dafür, wie weit sich lokale LLMs inzwischen herunterskalieren lassen.
Nauti's Take
Das ist ein schöner Fortschritt für Edge-AI: Ein Modell mit 28,9 Millionen Parametern auf einem 8-Dollar-Chip zeigt, wie weit hardwarenahe Optimierung inzwischen trägt. Die Grenze ist die Modellgröße, denn bei dieser Parameterzahl geht es um eng umrissene Aufgaben, nicht um Assistenten.
Für Bastler und Hardware-Teams mit klarem Use Case ist das spannend, alles Sprachlastige braucht weiter die Cloud.
Video
Quellen