Together Compiler schlägt handgeschriebene GPU-Megakerne um 28 Prozent
TL;DR
Together AI hat mit dem Together Compiler ein System vorgestellt, das AI-Agenten zum Umschreiben und Zusammenlegen der GPU-Kernels im Forward Pass eines Modells einsetzt. Auf einer B200 erreichte der Compiler mit Llama 3.2 1B laut Unternehmensangaben 2.118 Token pro Sekunde und lag damit 28 Prozent vor handgeschriebenen Megakernels mit 1.649 Token pro Sekunde.
Nauti's Take
Für kleine Teams ist der praktische Test klar: Erst messen, ob die eigene Inferenzpipeline durch Kernel-Fusion, Speicherzugriffe oder Launch-Overhead gebremst wird, bevor man einen Compiler-Workflow einführt. Die 28 Prozent stammen aus einem einzelnen Unternehmensbenchmark auf B200 und Llama 3.2 1B; entscheidend sind daher reproduzierbare Ergebnisse mit den eigenen Modellen, Batch-Größen und Hardwarekosten.