Strengere Tests lassen AI-Benchmarks wackeln: Opus 4.8 soll ohne Webzugang 14 Prozent verlieren
TL;DR
Geeky Gadgets fasst einen Better-Stack-Explainer zu AI-Benchmarks zusammen: Scores können durch Reward Hacking und Benchmark-Kontamination besser aussehen, als die echte Fähigkeit des Modells hergibt. Das auffälligste Beispiel im Beitrag: Opus 4.8 soll unter strengeren Offline-Bedingungen 14 Prozent Performance verlieren, weil externe Recherchen und bekannte Code-Repos wegfallen.
Nauti's Take
Die 14-Prozent-Zahl ist interessant, aber der eigentliche Punkt sitzt tiefer: Viele Benchmark-Debatten verwechseln Laborleistung mit Arbeitsleistung. Ein Modell, das online suchen darf, ist in echten Workflows nicht automatisch schlechter, aber der Benchmark muss dann ehrlich sagen, was gemessen wird.
Offline-Test, Tool-Test und Agenten-Test gehören getrennt ausgewiesen. Alles andere ist hübsche Ranking-Kosmetik.
Einordnunganzeigen
Benchmarks steuern Kaufentscheidungen, Modell-Rankings und Produktmarketing. Wenn ein Modell Aufgaben aus Trainingsdaten kennt oder sich Lösungen aus dem Web zieht, misst der Test nicht mehr Können, sondern Zugang und Gedächtnis. Für Teams heißt das: Leaderboards sind ein Signal, aber kein Ersatz für eigene Tests mit echten Workflows, Dateien, Policies und Tool-Grenzen.
Video
Quellen