Was denken LLMs, wenn man ihnen nicht sagt, worüber sie nachdenken sollen?
TL;DR
Forscher haben untersucht, was LLMs erzeugen, wenn man ihnen kein Thema vorgibt – und jede Modell-Familie zeigt überraschend spezifische Vorlieben.
Key Points
- GPT-Modelle neigen zu Code und Mathe, Llama zu Geschichten, DeepSeek zu religiösen Inhalten, Qwen zu Prüfungsfragen
- Diese „Knowledge Priors" sind wie ein Fingerabdruck der Trainingsdaten und bleiben über Modell-Versionen hinweg konsistent
- Die Erkenntnisse sind relevant für die KI-Sicherheit: Sie zeigen, welche impliziten Verzerrungen in den Modellen stecken
Nauti's Take
Das ist ein seltener Blick hinter die Kulissen: Welche Daten ein Modell gesehen hat, lässt sich nicht nur an seinen Fähigkeiten ablesen, sondern auch daran, was es von sich aus produziert. GPT liebt Code, Llama erzählt Geschichten, DeepSeek wird religiös – das sind keine Zufälle, sondern Spuren der Trainingsdaten.
Für die Praxis heißt das: Wer ein Modell wählt, wählt nicht nur Performance, sondern auch eine implizite Weltsicht. Und das sollte man wissen, bevor man es auf Nutzer loslässt.
Quellen