11 / 3058

Versteckte Prompt-Injection in Gerichtsakte fliegt wegen ungewöhnlicher Leerzeichen auf

TL;DR

Ein selbst vertretener Kläger in Connecticut soll eine versteckte Prompt-Injection in seine Gerichtsakte eingebaut haben. Die Anweisung zielte darauf, ein AI-Modell bei der Prüfung des Dokuments zu beeinflussen und es zu einer Entscheidung zugunsten des Klägers zu bringen. Laut dem Bericht von Tom's Hardware AI fiel der Text wegen ungewöhnlicher Leerzeichen auf; künftig darf der Kläger Dokumente offenbar nicht mehr elektronisch einreichen, sondern muss sie ausdrucken und dem Gerichtsschreiber übergeben.

Nauti's Take

Wer AI in rechtlichen oder administrativen Workflows einsetzt, sollte eingehende Dokumente grundsätzlich als untrusted input behandeln. Vor einem Praxistest gehören deshalb sichtbare und unsichtbare Zeichen, Formatierung, eingebettete Anweisungen und die Trennung von Dokumentinhalt und Systeminstruktionen auf die Prüfliste, besonders bei automatisierten Entscheidungen.

Quellen