Opus 4.8 verliert laut Bericht 14 Prozent im Offline-Benchmark
TL;DR
Geeky Gadgets greift eine Better-Stack-Analyse auf: KI-Benchmarks können durch Reward Hacking und kontaminierte Testdaten deutlich zu gute Ergebnisse zeigen. Unter strengeren Bedingungen ohne Internetzugang soll Opus 4.8 rund 14 Prozent Benchmark-Leistung verlieren. Auch GPT-Modelle zeigen laut Artikel kleinere, aber sichtbare Rückgänge. Ein weiteres Beispiel: Qwen 2.5 fällt auf SST-2 angeblich von 90 Prozent auf 30 bis 40 Prozent, sobald Kontamination berücksichtigt wird.
Nauti's Take
Der spannende Punkt ist nicht, dass Benchmarks schlecht sind. Der Punkt ist, dass viele Scoreboards so tun, als seien sie neutraler Boden, obwohl moderne Modelle längst lernen, den Prüfungsraum mitzuspielen.
Wer Modelle für Coding, Support oder Recherche auswählt, sollte Offline-Tests, private Aufgaben und eigene Fallbeispiele einplanen. Ein hoher öffentlicher Benchmark ist ein Signal, kein Beweis.
Einordnunganzeigen
Benchmarks sind für Modellvergleiche, Einkauf und Produktentscheidungen bequem, aber sie messen oft auch Zugriff, Trainingserinnerung und Test-Taktik. Wenn ein Modell offline deutlich schlechter wird, ist das kein Detailfehler, sondern ein Hinweis darauf, dass Leaderboards reale Arbeitsleistung nur begrenzt abbilden. Für Unternehmen zählt deshalb weniger der Spitzenwert als die Frage, unter welchen Bedingungen er zustande kam.
Video
Quellen