Apple Watch Series 6 lässt lokale AI schneller laufen als ein Raspberry Pi
TL;DR
Laut Geeky Gadgets hat Better Stack ein lokales Sprachmodell auf einer Apple Watch Series 6 aus dem Jahr 2020 betrieben. Zum Einsatz kam Falcon H1 mit 90 Millionen Parametern, das auf der alten Hardware eine für lokale Inferenz relevante Geschwindigkeit erreicht haben soll. Der Versuch zeigt, wie weit sich kleine AI-Modelle inzwischen auf Geräten mit knappen Ressourcen ausführen lassen. Die konkrete Leistungsangabe und die Testbedingungen bleiben in der vorliegenden Quelle allerdings unklar.
Nauti's Take
Der sinnvolle nächste Test ist die Messung unter realen Bedingungen: Antwortzeit, Energieverbrauch, Temperatur und Genauigkeit gegen ein aktuelles Cloud-Modell vergleichen. Für kleine Teams könnte lokale Inferenz auf vorhandener Hardware bei einfachen, datensensiblen Aufgaben interessant sein, solange das Modell klein genug bleibt und die Geschwindigkeit reproduzierbar ist.
Video
Quellen