Divide & Conquer: Wie kleinere Modelle Long-Context-Aufgaben besser lösen
TL;DR
Together AI zeigt: Mit einem 'Divide & Conquer'-Framework lassen sich lange Dokumente in parallele Chunks aufteilen – verarbeitet von einem Planner, mehreren Worker-Modellen und einem Manager. Kleinere Modelle wie Llama-3-70B und Qwen-72B schlagen damit GPT-4o im Single-Shot-Modus bei langen Kontextaufgaben. Das Framework adressiert ein bekanntes Problem: Je länger der Kontext, desto schlechter die Performance der meisten LLMs – selbst bei großen Fenstern.
Nauti's Take
Das ist einer der ehrlichsten Beiträge zum Thema Long-Context seit Langem – kein Marketing-Blabla, sondern ein konkreter Benchmark-Vergleich mit nachvollziehbarer Methodik. Bemerkenswert: Die Erkenntnis ist eigentlich alt.
'Teile und herrsche' kennt man aus der Informatik seit Jahrzehnten – jetzt landet es in der LLM-Welt und funktioniert. Was das für die Modellauswahl bedeutet: Wer reflexartig zum teuersten Frontier-Modell greift, verschenkt möglicherweise Geld.
Kleinere, spezialisierte Modelle in einem gut designten Multi-Agent-Setup können die bessere Wahl sein – sowohl für die Rechnung als auch für die Qualität.
Einordnunganzeigen
Lange Kontextfenster gelten als Heilsversprechen der LLM-Branche – doch in der Praxis versagen viele Modelle bei komplexen Aufgaben über viele Seiten. Dieses Framework zeigt, dass Architektur wichtiger sein kann als rohe Modellgröße: Wer klug aufteilt, gewinnt. Für Unternehmen bedeutet das konkret, dass günstigere Open-Source-Modelle plötzlich für Dokumentenanalyse, Legal-Review oder Code-Audits über teure proprietäre APIs hinausgehen können.
Quellen