AWS bringt über 100 neue SageMaker-Metriken für KI-Inferenz
TL;DR
AWS hat am 18. Juni 2026 detaillierte Observability für SageMaker AI Inference angekündigt: neue Endpoints senden die Metriken standardmäßig an CloudWatch, bestehende brauchen Opt-in. Für GenAI relevant sind Single-model Endpoints und Inference Component Endpoints. AWS nennt über 100 Signale, etwa GPU-Last, Token-Latenz, KV-Cache-Druck, AZ-Verteilung und Cold Starts.
Nauti's Take
Das ist ein nützliches Operator-Update, aber klar AWS-Produktlogik. Die Meldung ist PR-schwer, weil sie das eingebaute Dashboard als Entlastung verkauft; der harte Wert steckt in den kleinteiligen LLM-Signalen, besonders TTFT, ITL und KV-Cache-Druck.
Für kleine Teams klingt das nach Overkill. Für jedes Team mit mehreren GPU-Endpunkten ist es eher die Frage, ob man diese Metriken kontrolliert nutzt oder später im Incident hektisch sucht, warum Streaming plötzlich zäh wird.
Einordnunganzeigen
LLM-Serving scheitert selten an einem einzelnen roten Lämpchen. Wenn P99-Latenz steigt, muss ein Team unterscheiden, ob der Engpass im Modell, im Scheduler, im KV-Cache, in einer Availability Zone oder in der Skalierung liegt. AWS verpackt diese Signale jetzt so, dass MLOps und SREs weniger eigene Grafana-Prometheus-Arbeit bauen müssen, aber stärker in CloudWatch landen.
Quellen
