Apple Silicon bringt ein 26-Milliarden-Parameter-Modell mit nur 2 GB RAM zum Laufen
TL;DR
Eine Analyse von Better Stack zeigt, wie Turbo Fieldfare ein Modell mit 26 Milliarden Parametern auf Apple-Silicon-Hardware mit lediglich 2 GB RAM ausführen kann. Möglich wird das durch Gemma 4 und dessen Mixture-of-Experts-Architektur, bei der jeweils nur ein Teil der Modellkapazität aktiv verarbeitet wird.
Nauti's Take
Der sinnvolle Test für kleine Teams ist ein lokaler Prototyp auf vorhandener Apple-Hardware: Antwortzeit, Kontextlänge, Stromverbrauch und Qualität gegen ein Cloud-Modell messen. Die 2-GB-Angabe klingt attraktiv, sagt allein aber wenig über den tatsächlich nötigen Gesamtspeicher und die nutzbare Geschwindigkeit im Alltag aus.
Zusammenfassung
Eine Analyse von Better Stack zeigt, wie Turbo Fieldfare ein Modell mit 26 Milliarden Parametern auf Apple-Silicon-Hardware mit lediglich 2 GB RAM ausführen kann. Möglich wird das durch Gemma 4 und dessen Mixture-of-Experts-Architektur, bei der jeweils nur ein Teil der Modellkapazität aktiv verarbeitet wird.
Für lokale AI verschiebt das die praktische Hardwaregrenze deutlich, die Angaben stammen derzeit jedoch vor allem aus einer Darstellung über Geeky Gadgets und sollten mit eigenen Messungen zu Geschwindigkeit, Speicherbedarf und Modellqualität überprüft werden.
Video
Quellen