AWS will Agenten mit Knowledge Distillation günstiger betreiben
TL;DR
AWS zeigt, wie sich agentisches Verhalten eines teuren Frontier-Modells per Sequence-Level Knowledge Distillation auf ein kleineres Modell übertragen lässt. Dafür erzeugt das Lehrermodell vollständige Sequenzen aus Antworten und Tool-Aufrufen, mit denen anschließend ein Student-Modell trainiert wird. Der Ansatz soll die Kosten von Multi-Step-Agenten auf Amazon SageMaker AI senken.
Nauti's Take
Der erste sinnvolle Test läuft auf den eigenen Tool-Sequenzen: Erfolgsquote, Fehlbedienungen und Kosten pro erledigtem Vorgang gegen das Frontier-Modell messen. AWS beschreibt den Trainingsweg, liefert mit dieser Meldung aber noch keinen Beleg dafür, dass ein distilliertes Modell in wechselnden Produktionsabläufen stabil genug bleibt.
Quellen
