OpenAI, Google und Co. unterstützen neuen Standard gegen AI-Scraping
TL;DR
OpenAI, Google, Microsoft und Anthropic wollen einen neuen Standard unterstützen, mit dem Publisher ihre Websites zentral vom Scraping durch AI-Unternehmen ausnehmen können. Das vorgeschlagene Policy-Token-Signal stammt von Kevin Kelley, einem Anthropic-Experten für Standards, und soll in der robots. txt einer Website stehen. Damit ließen sich Vorgaben für mehrere Anbieter bündeln, statt sie einzeln zu pflegen.
Nauti's Take
Für kleine Teams ist das vor allem eine Kontroll- und Pflegefrage: Prüft zuerst, ob eure wichtigsten AI-Anbieter das Signal tatsächlich auswerten und wie Training, Suche und Archivierung getrennt behandelt werden. Bis der IETF-Entwurf belastbar und breit implementiert ist, sollte die robots.
txt als zusätzliche Vorgabe gelten, nicht als verlässlicher Schutz vor jeder Datennutzung.
Quellen