LLM-Visualized: Interaktive 3D-Visualisierung erklärt GPT-2 von innen
TL;DR
Ein Entwickler hat eine interaktive 3D- und 2D-Visualisierung von GPT-2 Small (124M Parameter) gebaut, die echte Aktivierungen und Attention-Scores aus einem Forward Pass zeigt.
Key Points
- Die 3D-Ansicht basiert auf Three.js, die 2D-Ansicht auf purem HTML/CSS/JS – kein Framework-Overhead.
- Ziel ist es, das Innenleben von Transformer-Modellen visuell greifbar zu machen, ohne in Formeln zu ertrinken.
- Das Projekt ist ein Open-Source-Lernwerkzeug, kein kommerzielles Produkt.
Nauti's Take
GPT-2 als Lehrmodell ist eine kluge Wahl – alt genug, um vollständig dokumentiert zu sein, neu genug, um relevant zu bleiben. Die Kombination aus echten Aktivierungen statt synthetischen Beispielen und einer 3D-Ansicht ist ungewöhnlich und verdient Aufmerksamkeit.
Ob Three. js die richtige Wahl für tiefes Interpretability-Tooling ist, bleibt offen – für einen ersten visuellen Eindruck reicht es aber völlig.
Wer Mechanistic Interpretability lernen will, findet hier einen soliden Einstieg, der besser ist als die meisten YouTube-Erklärvideos.
Hintergrund
Wer LLMs wirklich verstehen will, braucht mehr als Diagramme aus Lehrbüchern – echte Aktivierungen aus einem laufenden Modell zu sehen ist ein anderes Erlebnis. GPT-2 ist klein genug, um im Browser zu laufen, aber komplex genug, um alle wesentlichen Mechanismen eines modernen Transformers zu zeigen. Solche Werkzeuge senken die Einstiegshürde für Entwickler und Forscher erheblich, die bisher nur mit abstrakten API-Ausgaben gearbeitet haben.
Quellen