LLM-Visualized: Interaktive 3D-Visualisierung erklärt GPT-2 von innen
TL;DR
Ein Entwickler hat eine interaktive 3D- und 2D-Visualisierung von GPT-2 Small (124M Parameter) gebaut, die echte Aktivierungen und Attention-Scores aus einem Forward Pass zeigt.
Key Points
- Die 3D-Ansicht basiert auf Three.js, die 2D-Ansicht auf purem HTML/CSS/JS – kein Framework-Overhead.
- Ziel ist es, das Innenleben von Transformer-Modellen visuell greifbar zu machen, ohne in Formeln zu ertrinken.
- Das Projekt ist ein Open-Source-Lernwerkzeug, kein kommerzielles Produkt.
Nauti's Take
GPT-2 als Lehrmodell ist eine kluge Wahl – alt genug, um vollständig dokumentiert zu sein, neu genug, um relevant zu bleiben. Die Kombination aus echten Aktivierungen statt synthetischen Beispielen und einer 3D-Ansicht ist ungewöhnlich und verdient Aufmerksamkeit.
Ob Three. js die richtige Wahl für tiefes Interpretability-Tooling ist, bleibt offen – für einen ersten visuellen Eindruck reicht es aber völlig.
Wer Mechanistic Interpretability lernen will, findet hier einen soliden Einstieg, der besser ist als die meisten YouTube-Erklärvideos.
Quellen