Edge0 lässt Qwen 35B direkt von der SSD laufen und spart Arbeitsspeicher
TL;DR
Das Open-Source-Framework Edge0 soll ein Qwen-Modell mit 35 Milliarden Parametern direkt vom Speicher ausführen können. Statt sämtliche Gewichte in den Arbeitsspeicher zu laden, hält der Ansatz laut dem Bericht nur rund 2,9 GB aktiv und streamt weitere Modellteile bei Bedarf von der SSD. Damit könnten große MoE-Modelle auch auf Geräten mit begrenztem RAM laufen.
Nauti's Take
Für kleine Teams ist der erste Test klar: Einen konkreten lokalen Workflow mit Edge0 und Qwen 35B auf der vorhandenen Hardware messen, inklusive Antwortzeit, Stromverbrauch und SSD-Aktivität. Die geringe RAM-Nutzung klingt nützlich, sagt allein aber wenig über Alltagstauglichkeit aus, weil Speicherzugriffe die Interaktion deutlich bremsen können und die Quelle bisher keine belastbaren Vergleichswerte liefert.
Video
Quellen
