Warum GPU-Auslastung beim LLM-Autoscaling in die Irre führen kann
TL;DR
Ein Beitrag von Together AI zeigt, warum GPU-Auslastung allein kein verlässliches Signal für das Autoscaling von LLM-Inferenz-Endpunkten ist. Während die GPUs noch gesund ausgelastet wirken, kann sich bereits eine Warteschlange bilden, und neue Replikas brauchen bei dedizierter Inferenz mehrere Minuten zum Aufwärmen.
Nauti's Take
Nützlich ist die Kernaussage: GPU-Auslastung als einzige Autoscaling-Metrik führt in die Irre, und wer stattdessen Queue-Länge, Latenz und laufende Tokens kombiniert, spart bei LLM-Inferenz real Geld. Der Haken ist die Quelle, denn Together AI verkauft genau diese Inferenz, und die mehrminütige Warm-up-Zeit gilt für dediziertes Serving, nicht für jedes Setup.
Für kleine Teams lohnt ein Lastprofil mit realistischen Prompt-Längen und Burst-Verkehr, bevor Scale-up-Fenster nach fremden Zahlen gesetzt werden.
Quellen