AI Benchmarks: Opus 4.8 Performance Falls 14% Without Internet Access
TL;DR
Geeky Gadgets greift eine Better-Stack-Analyse auf: AI-Benchmarks können durch Reward Hacking und kontaminierte Testdaten deutlich besser aussehen, als die Modelle im echten Einsatz sind. Opus 4.8 soll unter strengeren Offline-Bedingungen 14 Prozent Performance verlieren, weil Webzugriff und öffentliche Repos als Abkürzung wegfallen. Als weiteres Beispiel nennt der Beitrag Qwen 2.5 auf SST-2: Nach Bereinigung um Kontamination fällt die Leistung angeblich von 90 Prozent auf 30 bis 40 Prozent.
Nauti's Take
Der Beitrag ist nützlich, aber klar sekundär: Er erzählt eine Better-Stack-These weiter und liefert keine harte Primärstudie im Text. Trotzdem trifft der Kern.
Wer 2026 noch Modelle nach großen Leaderboard-Zahlen einkauft, ohne Toolzugriff, Trainingsnähe und eigene Testsets zu prüfen, verwechselt Demo-Performance mit Betriebssicherheit. Der bessere Benchmark ist dein nervigster echter Task, mit denselben Rechten, Daten und Limits wie später im Alltag.
Einordnunganzeigen
Leaderboards sind nur nützlich, wenn sie messen, was Nutzer später wirklich bekommen. Wenn ein Modell Coding-Aufgaben über GitHub-Fundstücke oder geleakte Testmuster löst, kaufst du kein Denkvermögen, sondern Suchglück. Für Teams heißt das: Benchmarks brauchen Offline-Checks, eigene Testfälle und echte Workflow-Proben, bevor ein Modell in Produktion wandert.
Video
Quellen