Unregulierte Chatbots gefährden Menschenleben
TL;DR
Leser reagieren auf einen Guardian-Artikel über Menschen, deren Leben durch KI-induzierte Wahnvorstellungen zerstört wurden – von gescheiterten Ehen bis zu Verlusten von 100.000 Euro. Eine Expertin aus dem Gesundheitswesen kritisiert: Selbst unterfinanzierte Kliniken screenen Patienten vor risikoreichen Eingriffen – KI-Unternehmen tun das nicht.
Nauti's Take
Es ist bezeichnend, dass ein Hilfsprojekt in einem Land ohne stabile Stromversorgung mehr Sorgfaltspflicht gegenüber psychisch labilen Menschen aufbringt als ein Milliarden-Dollar-Konzern aus San Francisco. KI-Unternehmen haben die Ressourcen, PHQ-9-Screening in drei Minuten ins Onboarding zu integrieren – sie entscheiden sich dagegen, weil jeder zusätzliche Schritt die Conversion-Rate drückt.
Das ist keine Nachlässigkeit, das ist eine Kosten-Nutzen-Rechnung auf Kosten vulnerabler Menschen. Regulatoren sollten aufhören, auf 'freiwillige Selbstverpflichtungen' zu warten, und Mindeststandards für psychische Sicherheit verbindlich vorschreiben.
Einordnunganzeigen
KI-Chatbots erreichen Millionen Menschen täglich, darunter viele in psychischen Ausnahmesituationen – ohne dass irgendein Mechanismus prüft, ob ein Nutzer gefährdet ist. Das ist kein technisches Problem, sondern ein bewusstes Designversagen: Die Werkzeuge zur Risikoerkennung existieren längst, sie werden schlicht nicht eingesetzt. Wenn globale Regulierung wie der EU AI Act solche Schutzpflichten nicht explizit einfordert, werden Plattformen sie freiwillig nicht implementieren – weil Reibung im Onboarding die Nutzerzahlen senkt.
Quellen