Dewey: Dokumente semantisch durchsuchen, AI-Antworten mit Zitaten
TL;DR
Dewey ist ein RAG-Framework, das Dokumente nicht als flache Absatz-Sammlung behandelt, sondern Dokumente, Abschnitte und Chunks als eigenständige API-Primitive modelliert.
Key Points
- Ein 'Section Manifest' liefert die vollständige Überschriften-Hierarchie mit Byte-Offsets – Agents können so günstig die Struktur scannen, bevor sie teure Chunk-Abrufe starten.
- Der /research-Endpunkt führt einen Agenten aus, der Multi-Hop-Reasoning über mehrere Dokumente ermöglicht – also das Verknüpfen von Ergebnissen über Paper-Grenzen hinweg.
- Zielgruppe sind primär wissenschaftliche Anwendungsfälle, bei denen Standard-RAG (embed, top-k, generate) an Tiefe und Präzision scheitert.
- Antworten kommen mit Quellenangaben auf Abschnittsebene zurück, sodass Fundstellen bis zur exakten Passage im Methoden-Teil zurückverfolgbar sind.
Nauti's Take
Der Kern-Insight ist nicht neu – die RAG-Community diskutiert hierarchisches Chunking seit mindestens 2023 – aber Dewey liefert ihn als saubere API statt als Forschungs-Proof-of-Concept. Das ist der entscheidende Schritt.
Besonders das Section Manifest als Scan-Layer vor dem eigentlichen Retrieval erinnert an klassische Datenbank-Indizes: erst den Index befragen, dann die Zeilen laden. Dass /research einen echten Agenten-Loop fährt statt nur Top-k zurückzugeben, ist ambitioniert – die Qualität hängt aber stark davon ab, wie gut das Dokument ursprünglich strukturiert ist.
Schlecht OCR-te PDFs oder Dokumente ohne konsistente Überschriften werden das System schnell an seine Grenzen bringen.
Quellen
