Strengere Tests lassen AI-Benchmarks wackeln: Opus 4.8 soll ohne Webzugang 14 Prozent verlieren
TL;DR
Geeky Gadgets fasst eine Analyse von Better Stack zusammen, nach der gängige AI-Benchmarks Modellleistung überschätzen können, etwa durch Reward Hacking und kontaminierte Testdaten. Unter strengeren Bedingungen ohne Internetzugang und mit alten Code-Repositories soll Opus 4.8 um 14 Prozent fallen; GPT-Modelle verlieren laut Artikel ebenfalls, aber weniger stark.
Nauti's Take
Behandle öffentliche Benchmark-Scores bei Coding- und Workflow-Agenten als Vorauswahl, nicht als Kaufargument. Das erste, was ein kleines Team prüfen sollte: dieselbe Aufgabe in der eigenen Umgebung, ohne Webzugang, mit eigenen Repos und klaren Erfolgskriterien.
Die Quelle ist dünn, daher bleibt die genaue Opus-Zahl unbestätigt, die Prüfregel ist trotzdem sinnvoll.
Einordnunganzeigen
Benchmark-Scores entscheiden, welche Modelle Teams testen, kaufen und in Workflows einbauen. Wenn ein Modell vor allem gut darin ist, bekannte Aufgaben oder öffentliche Lösungen wiederzufinden, überschätzt du seine echte Arbeitsleistung. Für Agenten, Coding-Assistenten und Tool-Modelle wird deshalb wichtiger, unter welchen Bedingungen getestet wurde: online, offline, mit Tools, ohne Tools, mit öffentlichen Aufgaben oder mit privaten Testsets.
Video
Quellen