Titelbild: Kann ein OKF-Bundle den Job von RAG übernehmen? Ein kleines Experiment zu Antwortqualität, Tokens und Laufzeit

Kann ein OKF-Bundle die Aufgabe einer RAG-Pipeline übernehmen? Ein kleines Experiment

Ich wollte wissen, ob sich das, was wir üblicherweise mit einer RAG-Pipeline lösen, stattdessen mit einem OKF-Bundle lösen lässt, zumindest im Prinzip, und wie sich das schlägt: bei der Qualität der Antworten, bei den Tokens und bei der Laufzeit. Also habe ich beides für denselben Satz an Dokumenten gebaut, dieselben 20 Fragen gestellt und gemessen.

Das ist ein Ingenieursexperiment, keine Studie. Es ist klein, aber die Zahlen sind echt, und es hat mir mehr Verständnis und Sicherheit dafür gegeben, OKF Bundles in passenden Szenarien einzusetzen.

Zwei Wege, einem Modell eigenen Kontext zu geben

RAG (Retrieval-Augmented Generation) teilt Dokumente in Chunks auf, berechnet für jeden Chunk ein Embedding und legt diese in einem Index ab. Zu einer Frage holt die Pipeline die ähnlichsten Chunks und stellt sie in den Prompt. Das Modell antwortet aus diesen Chunks.

Ein OKF-Bundle ist ein Ordner mit Markdown-Dateien, ein Konzept pro Datei, mit einem kleinen YAML-Header und Links zwischen den Konzepten (das Format habe ich in einem früheren Beitrag beschrieben). Das Modell bekommt keine feste Auswahl an Chunks. Es beginnt bei einem Index, öffnet die Konzepte, die relevant aussehen, und folgt den Links. Das Abrufen besteht aus einer Reihe kleiner Entscheidungen des Modells selbst.

Die Motivation: Warum mich OKF hier interessiert

Die Performance ist nur eine Seite der Medaille. Ein Bundle hat zwei Eigenschaften, die eine Vektordatenbank nicht hat:

  • Es ist für Menschen und Maschinen lesbar. Ich kann ein Konzept öffnen, lesen, korrigieren und Änderungen in Git prüfen. Ein Embedding-Index ist undurchsichtig. Wenn eine Antwort falsch ist, kann ich nicht in den Index schauen und sehen, warum.

  • Die Zugriffskontrolle kann bestehende Werkzeuge nutzen. Ein Bundle ist ein Verzeichnisbaum. Unterverzeichnisse können eigene Lese- und Schreibrechte haben, das Bundle kann in einem Repository mit eigenen Review-Regeln liegen, und verschiedene Agenten oder Personen können verschiedene Teile des Baums erhalten. Bei einer Vektordatenbank sind es üblicherweise Metadatenfilter, die jede Abfrage korrekt anwenden muss.

Beim zweiten Punkt möchte ich klar sein: Es ist ein Argument, kein Ergebnis. Die Zugriffskontrolle habe ich in diesem Experiment nicht getestet. Am Ende komme ich darauf zurück.

Der Aufbau

Dokumente. Ich wollte Material, das trocken und faktenreich ist und nicht in den Trainingsdaten des Modells vorkommt. Ich habe fünf Open-Access-Papers (CC-BY) zum Neolithikum in Europa genommen, die nach dem Cutoff-Datum des Modells erschienen sind: Siedlungen, Radiokarbon-Chronologie, Bestattungspraktiken. Zusammen etwa 56.000 Wörter, grob 159.000 Tokens. Die Papers teilen sich Fundorte, Kulturen und Datierungsmethoden, sodass einige Fragen Fakten aus mehreren Papers brauchen.

Fragen. 20 Fragen, deren Referenzantworten (Ground Truth) aus den Texten der Papers geschrieben wurden, nicht aus dem Bundle oder dem Index:

  • 8 Einzelfakten aus einem Paper („Wie viele Bodenproben wurden analysiert …?“)

  • 6 Fragen, die Fakten aus zwei bis vier Papers brauchen

  • 3 offene Fragen, die eine Zusammenfassung erfordern, eine davon bewusst vage

  • 3 Fragen, die sich aus den Papers nicht beantworten lassen, bei denen die richtige Antwort „Das wird nicht berichtet“ lautet

Vier Ansätze, alle mit demselben Modell (Claude Sonnet 5.5) und derselben Anweisung, knapp zu antworten und nicht zu raten:

  • Ohne Kontext: das Modell allein.

  • RAG: hybrides Retrieval (lokale Embeddings plus BM25-Stichwortsuche), die besten 8 Chunks kommen in den Prompt.

  • OKF: Das Modell arbeitet im Bundle mit Dateiwerkzeugen (lesen, grep, glob), beginnt bei index.md und navigiert selbständig.

  • Voller Kontext: alle fünf Papers im Systemprompt. Das funktioniert nur, weil der Datensatz klein ist, daher betrachte ich es als Referenz für dieses Experiment und nicht als konkurrierenden Ansatz.

Die Antworten wurden von einem zweiten Modell (Claude Opus 5.5) gegen die Schlüsselfakten jeder Frage bewertet, ohne dass es wusste, welcher Ansatz die Antwort erzeugt hatte. Die Modellaufrufe liefen über die Claude-Code-Kommandozeile im Headless-Modus, die den Verbrauch pro Aufruf meldet. Das bringt pro Aufruf einen konstanten Overhead mit (etwa 600 Tokens ohne Werkzeuge, 3.200 mit Dateiwerkzeugen), der gegenüber den „Arbeitstokens“ klein ist.

Die beiden Wissensbasen bauen

RAG-Index

OKF-Bundle

Laufzeit

47 Sekunden, auf einer CPU

14 Minuten

LLM-Aufrufe

keine (lokales Embedding-Modell)

6: fünf Extraktionen parallel, ein Merge

Tokens

104.000 Embedder-Tokens, keine LLM-Tokens

234.000 Output, 507.000 neu verarbeiteter Input

Kosten zum Listenpreis

$0

$4,68

Ergebnis

222 Chunks, 0,9 MB

160 Konzepte, 31.000 Wörter, 118.000 Tokens

Zwei Beobachtungen. Erstens ist das Bundle bei den Wörtern eine verlustbehaftete, aber eher geringe Kompression: 31.000 Wörter im OKF-Bundle gegenüber 56.000 in den Papers, also etwa 78 % der 40.000 Wörter ohne die Literaturverzeichnisse. In Tokens liegt das Bundle bei etwa 118.000, gegenüber 100.000 für die Papers ohne Literaturverzeichnis. Markup, YAML-Header, Links, Fußnotenlabels und Paper-IDs kosten pro Wort mehr Tokens als Fließtext. Das ganze Bundle in einen Prompt zu stellen, würde also gegenüber den Papers kaum etwas sparen. Zweitens hat der Merge-Schritt, der Konzepte aus mehreren Papers zusammenführt, 543 Tool-Aufrufe gebraucht und dreimal so lange gedauert wie die Extraktion aller fünf Papers zusammen. Das wird ein Engpass sein, wenn der Datensatz wächst. Es ist im Experiment aber eine naive Umsetzung ohne jede Optimierung.

Ergebnisse

Ansatz

Punkte (von 20)

Median der Zeit

Input-Tokens pro Frage

Kosten pro Frage

Ohne Kontext

6,0

9,3 s

0,7k

$0,009

RAG

14,5

6,6 s

6,9k, eine Runde

$0,032

OKF

17,0

9,7 s

6,9k neu + 16,9k aus dem Cache, 5,3 Runden

$0,039

Voller Kontext

18,5

4,9 s

8,5k neu + 150k aus dem Cache

$0,054

Eine richtige Antwort zählt 1, eine teilweise richtige 0,5 Punkte. Die Zeit für RAG enthält das Retrieval, das 1,9 Sekunden gedauert hat, überwiegend der Start meines Kommandozeilenskripts. Tokens aus dem Cache werden nur zu einem Bruchteil berechnet, weshalb der volle Kontext trotz 150.000 Tokens pro Frage hier günstig ist.

Nach Fragetyp:

Ansatz

Einzelfakt (8)

Paperübergreifend (6)

Offen (3)

Nicht beantwortbar (3)

Ohne Kontext

0,5

2,0

1,0

2,5

RAG

7,5

2,5

1,5

3,0

OKF

8,0

4,5

1,5

3,0

Voller Kontext

8,0

5,5

2,0

3,0

Die Zahlen einordnen

Qualität. Bei Einzelfakten liegen RAG und OKF dicht beieinander: 7,5 und 8 von 8. Der Unterschied zeigt sich bei Fragen, die mehrere Papers brauchen. RAG erreichte 2,5 von 6, OKF 4,5. Der klarste Fall war eine Frage nach dem Enddatum der LBK, der ersten bäuerlichen Kultur, in vier Papers. Alle acht Chunks, die RAG abgerufen hat, stammten aus demselben Paper, und das Modell schloss, angesichts dessen, was es sah, korrekt, dass die anderen Daten nicht berichtet wurden. Eine feste Liste der acht am besten passenden Chunks garantiert also nicht, dass verschiedene Dokumente vertreten sind. Ein OKF-Bundle organisiert das Wissen nach Entitäten, und ein zusammengeführtes Konzept trägt die Quellenangabe jedes Papers, was dazu beigetragen hat, dass das Modell den Fakt in mehreren Dokumenten finden kann.

Tokens. Der neu verarbeitete Input ist bei RAG und OKF etwa gleich, 6,9k Tokens pro Frage. OKF benötigt aber 5,3 Runden statt einer, und jede Runde trägt den wachsenden Kontext mit: insgesamt etwa 24k Input-Tokens pro Frage, die meisten davon aus dem Cache, und mehr als doppelt so viele Output-Tokens. Zum Listenpreis ist der Unterschied klein, $0,039 gegenüber $0,032 pro Frage. Die Baukosten sind der größere Posten: Bei diesem Unterschied zahlen sich die zusätzlichen $4,68 nie in Geld aus. Wenn überhaupt, zahlen sie sich in der Antwortqualität aus.

Laufzeit. Die Mediane liegen nicht weit auseinander (6,6 gegenüber 9,7 Sekunden), aber OKF ist weniger vorhersehbar: Das langsamste Zehntel der Fragen brauchte bei OKF bis zu 14,9 Sekunden und bei RAG 8,6, weil das Modell manchmal weiter durch das Bundle wandert.

Alles in allem sagen die genauen Qualitätszahlen nicht viel aus, weil sie auf einem sehr kleinen Datensatz beruhen und ich mir nicht die Zeit genommen habe, tiefer in den Inhalt einzusteigen, um die Richtigkeit der Bewertung zu überprüfen.

Gut zu wissen

  • Das Modell ohne jeden Kontext kannte bereits Teile der bekanntesten Fundstätte. Selbst Dokumente nach dem Trainingsstichtag sind nicht völlig vor Vorwissen sicher, was in einem akademischen Fachgebiet zu erwarten ist. Aber der Ansatz ohne Kontext hat bei 8 von 20 Fragen die Antwort verweigert, statt zu raten, was ein gutes Verhalten moderner LLMs ist (besser als Halluzinationen).

  • Der Ansatz mit vollem Kontext hat bei Qualität und Zeit gewonnen, er war nur wegen des Prompt-Cachings günstig. Er ist keine Option mehr, wenn der Datensatz zehnmal größer ist oder wenn die Dokumente unterschiedliche Leser haben.

  • Das OKF-Bundle ist in Tokens nicht kleiner als der Text der Papers: etwa 118.000 Tokens gegenüber 100.000 für die Papers ohne Literaturverzeichnis (159.000 mit). Es hat weniger Wörter, aber sein Markup kostet pro Wort mehr Tokens.

Zur Zugriffskontrolle

Das Experiment hat mir zum zweiten Argument für OKF eine praktische Erkenntnis gebracht. Wenn die Verzeichnisse des Bundles die Berechtigungsgrenze sind, muss die Grenze eines Konzepts zur Grenze seiner Quellen passen. Das Zusammenführen mehrerer Bundle-Dateien zu einer einzigen Konzeptdatei vereint Fakten und Fußnoten aus allen fünf Papers, was das Risiko birgt, dass Informationen an Unberechtigte abfließen. Das Bundle muss also entlang der Berechtigungen organisiert und zusammengeführt werden, und der Agent, der das Bundle schreibt, darf diese Grenzen nicht überschreiten. Bei einer Vektordatenbank gibt es dasselbe Problem als Metadaten an den Chunks, und ich würde nicht behaupten, dass es dort einfacher ist. Was meiner Meinung nach anders ist: Es ist sichtbar. In einem Dateibaum sehe ich, welche Datei wo liegt, kann mit Werkzeugen, die ich schon nutze, prüfen, wer sie lesen darf, und Änderungen prüfen, bevor sie zusammengeführt werden.

Ich habe das in der Praxis nicht überprüft, und es braucht einen richtigen Test: zwei Agenten mit unterschiedlichen Berechtigungen auf demselben Bundle und Fragen, die versuchen, über die Grenze hinweg zu greifen.

Was dieses Experiment nicht aussagen kann

  • Fünf Papers und 20 Fragen sind eine sehr kleine Stichprobe.

  • Die Referenzantworten und der Bewerter sind von Sprachmodellen unterstützt, und der Bewerter ist möglicherweise zu streng. Ehrlich gesagt verstehe ich vom Thema der Papers nichts und habe mir nicht die Mühe gemacht, die von Claude Opus vorgeschlagenen Referenzantworten oder die Bewertung selbst zu überprüfen.

  • Mein RAG ist ordentlich, aber nicht abgestimmt: kein Re-Ranker, kein Umschreiben der Anfragen. Ein besseres RAG könnte möglicherweise besser abschneiden, aber ein optimierter Bundle-Builder könnte das für OKF ebenso.

Fazit

Ein OKF-Bundle kann im Prinzip die Aufgabe einer RAG-Pipeline übernehmen, und in meinem Experiment hat es das bei Fragen, die Fakten aus mehreren Dokumenten brauchen, besser getan: 17 gegenüber 14,5 Punkten von 20 bei ungefähr vergleichbarer Token-Zahl und vergleichbarem Median der Zeit. Der Preis ist ein teurerer Aufbau, mehr Runden pro Frage und eine weniger vorhersehbare Laufzeit, die wahrscheinlich mit der Größe der Wissensbasis wächst.

Referenz: alles, was zum Nachvollziehen dieses Experiments nötig ist

Das gesamte Material wurde am 2026-11-10 erzeugt. Die Fragen, die Antworten, die Skripte und die Logs stehen unten als Downloads bereit. Der RAG-Index mit seinen Embeddings und Text-Chunks sowie das OKF-Bundle enthalten Text und Ableitungen der Papers und werden hier nicht veröffentlicht; Sie können sie über die Kontaktseite bei mir anfragen.

Die Papers (fünf Open-Access-Artikel, CC-BY, erschienen am 2026-06-01 oder später). Ich verlinke die PDFs der Verlage, statt sie weiterzuverbreiten. Verlage können Dateien ändern oder verschieben; der DOI ist die stabile Referenz.

Titel

Zeitschrift, Datum

DOI

Volltext

Settlement and temporal dynamics during the LBK and post-LBK transition

Archeologické rozhledy, 2026-11-03

10.35686/ar.2026.354

PDF

Neolithic Bodies in Vráble – 7000 year-old Headless Human Skeletons in an Enclosed LBK Settlement in South–West Slovakia

Proceedings of the Prehistoric Society, 2026-06-02

10.1017/ppr.2026.10082

PDF

The issue of the ‘resurgence’ of hunter-gatherer lifestyles in the region between the middle courses of the Southern Buh and Dniester rivers during the post-LBK period

Archeologické rozhledy, 2026-08-22

10.35686/ar.2026.321

PDF

Early farming and wild plant exploitation in the Linear Pottery Culture of southeastern Poland: new evidence from the sites Rzeszów-Zwięczyca and Łańcut

Vegetation History and Archaeobotany, 2026-06-26

10.1007/s00334-026-01126-2

PDF

Interpreting funerary variability in the Alsace Plain between 5300 and 4400 BC

Proceedings of the Prehistoric Society, 2026-08-11

10.1017/ppr.2026.10094

PDF

Die Titel der Papers sind englisch, wie veröffentlicht. papers.json enthält dieselbe Liste mit den OpenAlex-Kennungen. Die Papers wurden über die OpenAlex-API ausgewählt (Open Access, Lizenz CC-BY, erschienen seit 2026-06-01, Themenabfragen zu Neolithikum und LBK-Siedlungen) und mit pdftotext (poppler, Lesereihenfolge, ohne -layout) konvertiert. Bilder wurden mit pdfimages -png -p extrahiert; sie werden in diesem Experiment nicht verwendet.

Fragen und Antworten

  • questions.json: die 20 Fragen mit Referenzantwort, den für die Bewertung genutzten Schlüsselfakten und den Papers, auf die sich jede stützt. Die Referenzantworten wurden aus den Texten der Papers geschrieben, nicht aus dem Bundle oder dem Index. Die Fragen sind englisch.

  • results.json: für jede Frage und jeden Ansatz die genaue Antwort, Urteil und Anmerkung des Bewerters, Tokens (neu, Cache-Schreiben, Cache-Lesen, Output), Runden, Zeit, Kosten zum Listenpreis und bei RAG die IDs der abgerufenen Chunks.

Die beiden Wissensbasen

  • RAG-Index (auf Anfrage): embeddings.npy (222 Chunks, 384 Dimensionen, float32, normalisiert), chunks.jsonl (Chunk-ID, Paper, Text) und build.json (Build-Metriken). Embedding-Modell BAAI/bge-small-en-v1.5 über fastembed 0.7.3, BM25 über rank-bm25 0.2.2, Python 3.12. Chunks: Absätze zu 300 Wörtern gepackt, mit 50 Wörtern Überlappung. Retrieval: die besten 30 aus Dense und BM25, Reciprocal Rank Fusion (k=60), die besten 8 in den Prompt. Die Chunk-IDs in results.json beziehen sich auf diesen Index.

  • OKF-Bundle (auf Anfrage): 160 Konzepte plus Indizes und Log, gültiges OKF v0.2. Gebaut mit fünf parallelen Extraktionsaufrufen (einer pro Paper) und einem Merge-Aufruf. Die genauen Prompts stehen in den Skripten.

Modelle und Einstellungen

  • Antworten: claude-sonnet-5-5. Bewertung: claude-opus-5-5, ohne Kenntnis des Ansatzes.

  • Aufrufe über Claude Code 2.1.322 im Headless-Modus (claude -p --output-format json), mit kurzem eigenem Systemprompt, ohne MCP-Server, ohne Skills, ein Durchlauf pro Frage und Ansatz. Werkzeuge: keine für Ohne Kontext, RAG und Voller Kontext; Read, Grep und Glob für OKF. Das Arbeitsverzeichnis lag außerhalb jedes Repositorys, sodass keine Projektanweisungen geladen wurden.

  • Konstanter Overhead pro Aufruf: etwa 600 Tokens ohne Werkzeuge, 3.200 mit Dateiwerkzeugen (gemessen in build-logs.zip).

  • Token-Größen der Daten: Jeder Text wurde in den Systemprompt eines Aufrufs gelegt und die gemeldeten Input-Tokens abzüglich des Overheads von etwa 600 Tokens gelesen. Papers mit Literaturverzeichnis 159.000, Papers ohne Literaturverzeichnis 100.000, OKF-Bundle (169 Dateien mit Headern) 118.000 (Rohdaten in build-logs.zip).

  • Kosten sind Listenpreise, wie vom Werkzeug gemeldet, nicht das tatsächlich Abgerechnete.

Code und Rohdaten

  • scripts.zip: fetch_papers.py (Download und Extraktion), rag.py (Index und Retrieval), build_okf.py (Extraktions- und Merge-Prompts), run_queries.py (die vier Ansätze und ihre Systemprompts), judge.py (der Bewertungsprompt), summarize.py (die obigen Tabellen), export_blog_assets.py (dieses Paket).

  • build-logs.zip: das rohe Ergebnis-JSON der sechs OKF-Build-Aufrufe und die Overhead-Messungen.

Nachbauen

  1. Papers holen: fetch_papers.py <dataset-dir>, mit papers.json als manifest.json dort gespeichert.

  2. Index bauen: rag.py build <dataset-dir> <index-dir>.

  3. Bundle bauen: build_okf.py map und build_okf.py merge (braucht Claude Code).

  4. Fragen stellen: run_queries.py run, mit judge.py bewerten, mit summarize.py tabellieren.

Im Detail sind andere Zahlen zu erwarten: Modellantworten sind nicht deterministisch, ich habe jede Zelle einmal durchlaufen lassen, und ein neu gebautes Bundle wird sich in Formulierung und Struktur unterscheiden. Was sich bestätigen müsste, ist die Richtung der Ergebnisse, nicht die zweite Nachkommastelle.