Für lokale AI zählt Speicherbandbreite mehr als CPU-Kerne
TL;DR
Wer AI-Modelle lokal betreibt, braucht andere Hardware als für klassische Rechenlast. Entscheidend ist nicht die Zahl der CPU-Kerne, sondern das Zusammenspiel aus Speichergröße und Speicherbandbreite. Große Modelle müssen komplett in den Speicher passen, und die Bandbreite bestimmt, wie schnell Tokens herauskommen. Systeme mit geteiltem Speicher wie Apple Silicon oder moderne APUs schneiden deshalb oft besser ab als teure Prozessoren mit vielen Kernen.
Nauti's Take
Der Vorteil dieser Einordnung ist sehr praktisch: Wer sie kennt, spart teure Fehlkäufe, denn viele CPU-Kerne bringen für lokale Modelle wenig, wenn die Speicherbandbreite bremst. Die Grenze liegt darin, dass Bandbreite allein auch nicht reicht, weil ein Modell ohne ausreichend Speicher gar nicht erst startet.
Für Selbstbauer und kleine Teams mit Datenschutzbedarf ist das eine solide Faustregel.
Video
Quellen