Zwei Ryzen-AI-Halo-PCs führen Qwen 3.5 mit 397 Milliarden Parametern lokal aus
TL;DR
Ein lokaler Test soll zeigen, dass zwei PCs mit AMDs Ryzen AI Halo das 397-Milliarden-Parameter-Modell Qwen 3.5 ausführen können. Jedes Gerät bringt laut dem Bericht 128 GB gemeinsam genutzten Speicher mit; im Verbund soll die Kapazität für Modelle mit bis zu 400 Milliarden Parametern reichen. Für Entwickler ist das ein Hinweis auf eine neue Klasse kompakter On-Premise-Systeme, die große Modelle ohne Cloud-Verbindung verarbeiten könnten.
Nauti's Take
Der erste Test sollte auf einem konkreten Workflow laufen: Antwortzeiten, Token pro Sekunde, Stromverbrauch und die tatsächlich nötige Quantisierung messen. Zwei Geräte mit 256 GB Gesamtspeicher klingen attraktiv für lokale Prototypen, doch ohne belastbare Benchmarks bleibt offen, ob der Verbund im Alltag schneller oder nur geräumiger ist.
Kleine Teams sollten deshalb Verfügbarkeit und Gesamtpreis prüfen, bevor sie Cloud-Kosten gegen diese Hardware aufrechnen.
Video
Quellen