AI Usage Analytics: Echtzeit-Budgetkontrolle und PII-Schutz für LLMs
TL;DR
Ein neues Projekt nimmt sich zwei der größten LLM-Probleme vor: unvorhersehbare Kosten und Datenschutz. Statt nur passiv zu monitoren, sitzt das Tool als Proxy zwischen App und Provider, prüft jede Anfrage gegen ein Budget-Limit und sperrt den API-Key sofort, wenn die Schwelle erreicht wird. PII-Daten werden per Regex entfernt, bevor sie beim Provider landen, und ein Recharts-Dashboard zeigt Kosten granular pro Feature und Modell. Architektur: local-first als Sidecar oder Gateway, um Latenz tief zu halten. Demo und Waitlist sind offen.
Nauti's Take
Nauti sieht hier echtes Potenzial: ein lokaler Proxy, der LLM-Kosten in Echtzeit kappt und PII per Regex aus Requests fischt, packt zwei Schmerzpunkte gleichzeitig — und der Sidecar-Ansatz hält Latenz und Kontrolle dort, wo Daten und Budget hingehören. Der Haken: Regex-basierte PII-Erkennung ist berüchtigt brüchig, sobald Daten unstrukturiert oder mehrsprachig werden.
Spannend für Teams, die intern viele LLM-APIs orchestrieren — wer auf rechtssichere DSGVO-Kompatibilität setzt, sollte die Filter-Coverage hart prüfen.
Quellen