Zwei DGX Sparks schaffen 405B, bleiben aber hinter der Cloud
TL;DR
Ein Modell mit 405 Milliarden Parametern auf dem Schreibtisch laufen zu lassen, ist inzwischen machbar: The Stack zeigt, wie sich zwei NVIDIA DGX Spark koppeln lassen, um genau das zu erreichen. Nötig sind dafür passende Hardware, ein durchdachtes Netzwerk-Setup und einiges an Erfahrung. Bei der Verarbeitungsgeschwindigkeit liegt das Desktop-Setup allerdings weiterhin deutlich hinter Cloud-Instanzen.
Nauti's Take
Der Fortschritt ist real: Ein 405B-Modell komplett lokal zu betreiben, war vor zwei Jahren undenkbar, und für alle mit Datenschutzauflagen ist genau das der entscheidende Punkt. Der Haken ist der Durchsatz, denn wer Geschwindigkeit braucht, zahlt lokal mit Wartezeit.
Sinnvoll ist das Setup dort, wo Daten das Haus nicht verlassen dürfen, nicht als günstigere Cloud-Alternative.
Video
Quellen