OpenAI Codex auf AWS: LiteLLM-Gateway verbindet ECS mit Bedrock
TL;DR
AWS zeigt, wie sich OpenAI ChatGPT Codex über ein selbst betriebenes LiteLLM-Gateway auf Amazon ECS mit AWS Fargate und einem OpenAI-Modell in Amazon Bedrock verbinden lässt. Das Gateway stellt die Responses API bereit und bündelt Identitäten, Budgets, Rate Limits und Telemetrie. Als Alternativen nennt der Beitrag den direkten Zugriff über IAM Identity Center sowie eine verwaltete Bereitstellung mit Portkey. Für Teams entsteht damit eine kontrollierbare Infrastruktur für Codex-Workflows in der eigenen AWS-Umgebung.
Nauti's Take
Für kleine Teams liegt der praktische Wert in der zentralen Kontrolle über Zugriff, Kosten und Nutzungsdaten. Vor einem Test sollte klar sein, ob LiteLLM im eigenen AWS-Account tatsächlich genügend Governance liefert und welche Bedrock-Modellkosten, Latenzen und Betriebsaufwände gegenüber Portkey oder direktem IAM-Zugriff entstehen.
Quellen
