AI-Alarm verwechselt Doritos-Tüte mit Waffe: Vier Schüler aus Maryland klagen
TL;DR
Vier aktuelle und ehemalige Schüler einer Highschool in Maryland haben gegen den Anbieter Omnilert, die Polizei von Baltimore County, den Schulbezirk, einzelne Beamte und den Schulleiter Klage eingereicht. Anlass ist ein Vorfall aus dem Vorjahr: Ein AI-System zur Waffenerkennung meldete eine Doritos-Tüte als Schusswaffe, woraufhin bewaffnete Polizisten die Jugendlichen beim Warten auf ihre Fahrten mit Handschellen festhielten und durchsuchten.
Nauti's Take
Für kleine Teams ist der Fall ein Pflichtcheck für jeden AI-Alarm mit Eingriffen in die reale Welt: Vor dem Rollout müssen Fehlalarmraten, Eskalationsstufen, menschliche Bestätigung und nachvollziehbare Protokolle getestet werden. Entscheidend ist eine klare Regel, wer bei Unsicherheit stoppt und wer die Verantwortung trägt.