NeoHorse 14B: Lokale AI mit 2,4-GB-Download für Standard-Hardware
TL;DR
NeoHorse 14B soll lokale AI ohne Cloud-Infrastruktur ermöglichen und mit einem Download von 2,4 GB auf üblicher Hardware laufen. Laut Geeky Gadgets eignet sich das Modell vor allem für einfache Aufgaben wie Textzusammenfassungen und grundlegende Entscheidungen. Die Angaben zur Modellgröße sind allerdings widersprüchlich: Der Titel nennt 14 Milliarden Parameter, die Zusammenfassung spricht von 4 Milliarden.
Nauti's Take
Der erste Test sollte auf der eigenen Zielhardware laufen: Antwortqualität bei Zusammenfassungen, RAM-Verbrauch, Geschwindigkeit und tatsächlicher Offline-Betrieb entscheiden über den Nutzen. Wegen der widersprüchlichen Parameterangabe und der dünnen Quellenlage würde ich NeoHorse vorerst als interessantes Experiment behandeln und keine produktiven Workflows darauf aufbauen.
Video
Quellen