AWS macht Fehlerdiagnose für KI-Agenten mit Strands Evals greifbarer
TL;DR
AWS zeigt neue Detector-Funktionen in Strands Evals, die Agent-Traces automatisch auf Fehler prüfen und nicht nur einen Score ausgeben. Die Diagnose liefert Kategorien, Confidence-Werte, Belege aus dem Trace und Kausalketten, damit Primärfehler von Folgesymptomen getrennt werden. Fix-Empfehlungen werden nach Ort sortiert: System Prompt, Tool-Beschreibung oder andere Ursachen. Das macht die Ausgabe direkt umsetzbarer.
Nauti's Take
Das ist AWS-nah und klar als Entwickler-How-to gebaut, aber der Kern ist stark: Agenten brauchen Debugging auf Verhaltensebene, nicht nur hübsche Erfolgsraten. Besonders sinnvoll ist die Trennung zwischen Tool-Fix und Prompt-Fix, weil Teams sonst reflexartig am Prompt drehen, obwohl das eigentliche Problem in einer schlecht beschriebenen Tool-Schnittstelle liegt.
Der Haken: LLM-basierte Diagnose kostet Geld und kann selbst danebenliegen, also gehört sie in eine kontrollierte Eval-Pipeline, nicht als blinder Wahrheitsautomat.
Einordnunganzeigen
Agent-Evals brechen oft genau dort ab, wo es spannend wird: Der Test sagt, dass etwas schlechter wurde, aber nicht warum. Strands Evals schiebt die Fehleranalyse näher an den eigentlichen Trace und macht sichtbar, ob ein kaputtes Tool-Schema, ein schwacher System Prompt oder ein Orchestrierungsproblem der Startpunkt war.
Quellen
