KI-gestütztes A/B-Testing mit Amazon Bedrock und MCP
TL;DR
AWS zeigt in einem neuen Blogpost, wie man mit Amazon Bedrock, ECS, DynamoDB und dem Model Context Protocol (MCP) eine KI-gestützte A/B-Testing-Engine baut.
Key Points
- Der Clou: Statt zufälliger Variantenzuweisung analysiert das System den Nutzerkontext und entscheidet intelligent, welche Variante ein User zu sehen bekommt.
- MCP dient dabei als Schnittstelle zwischen dem KI-Modell und den Backend-Diensten – ein Architekturmuster, das gerade stark an Fahrt gewinnt.
- Das Setup läuft containerisiert auf ECS; Experiment-Daten und Zuweisungen landen in DynamoDB.
Nauti's Take
Der Ansatz ist technisch solide und das MCP-Muster ist tatsächlich interessant – aber der Blogpost riecht stark nach AWS-Service-Showcase. Bedrock, ECS, DynamoDB: alles hauseigen, null Portabilität.
Wer nicht bereits tief im AWS-Ökosystem steckt, baut sich hier einen goldenen Käfig. Die eigentliche Idee – kontextbasierte, KI-gestützte Variantenzuweisung – ist es wert, verfolgt zu werden, lässt sich aber auch mit OpenAI, LiteLLM und einer Postgres-Tabelle umsetzen.
Spannend bleibt die Frage, wie das System mit Fairness-Problemen umgeht: Wenn die KI bestimmten Nutzergruppen systematisch 'schlechtere' Varianten zuweist, hat man kein Testing-Problem mehr, sondern ein ethisches.
Quellen
