AWS streicht den S3-Umweg für kleine SageMaker-Async-Inputs
TL;DR
AWS ergänzt Amazon SageMaker AI Async Inference um Inline-Payloads: Bis zu 128.000 Byte können direkt im Body der InvokeEndpointAsync-Anfrage stecken, statt vorher als Objekt in Amazon S3 zu landen. Der alte InputLocation-Weg über S3 bleibt für große Daten wie Bilder, Audio und Dokumente bestehen. Body und InputLocation schließen sich gegenseitig aus; bei falscher Nutzung gibt es direkt einen ValidationError.
Nauti's Take
AWS verkauft das als Komfort-Feature, und genau das ist es: klein, technisch, aber im Alltag nützlich. Wer schon einmal Async-Inference-Pipelines mit Mini-JSONs gebaut hat, kennt den absurden Umweg über S3 nur zu gut.
Trotzdem sollte niemand jetzt blind alles inline schicken. Für nachvollziehbare Inputs, größere Daten oder spätere Replays bleibt S3 die sauberere Spur.
Einordnunganzeigen
Der kleine Grenzwert ist wichtig: Das Feature zielt nicht auf große multimodale Dateien, sondern auf JSON-Prompts, strukturierte Daten und Fan-out-Jobs, bei denen der S3-Vorspann bisher der eigentliche Schmerz war. Weniger S3-Objekte heißt auch weniger Lifecycle-Regeln, weniger Berechtigungen und weniger fehleranfällige Cleanup-Logik. Async Inference wird damit für kleine, aber länger laufende AI-Aufgaben deutlich handlicher.
Quellen
