Tokenwerk: semantische Suche – Lernversuch vom 26.10.2026

Acht erfundene Dokumente, zwölf vorab festgelegte Fragen. Zehn Fragen sind anhand
der Dokumente beantwortbar, zwei enthalten bewusst eine fehlende Angabe.
Die Texte D1–D3 wurden unverändert aus der älteren Lernvorlage übernommen.
Verglichen: eigene einfache BM25-Baseline und quantisierte E5-ONNX-Konvertierung.
Das ist kein repräsentativer Benchmark und kein Test generierter Antworten.

Vorbereitung: Python 3.12 in einem eigenen Übungsordner. Die festgelegten Pakete
und die öffentliche Modellrevision werden heruntergeladen. Modellabruf rund
136 MB, Inferenz anschließend lokal ohne API-Schlüssel. Modelllizenz: MIT laut
Basismodellkarte. Die Modellgewichte sind nicht in dieser ZIP enthalten.

Windows PowerShell im entpackten Ordner:
python -m venv .venv
.venv\Scripts\python -m pip install -r requirements.txt
.venv\Scripts\python download_model.py --model-dir model
.venv\Scripts\python run_search.py --model-dir model --output mein-lauf.json

macOS/Linux:
python3.12 -m venv .venv
.venv/bin/python -m pip install -r requirements.txt
.venv/bin/python download_model.py --model-dir model
.venv/bin/python run_search.py --model-dir model --output mein-lauf.json

Ergebnisdateien werden absichtlich nicht überschrieben. Für eine Wiederholung
einen anderen Namen wählen. Alle Dokumente/Fragen und Auswertungsregeln stehen
im eingefrorenen frozen-protocol.json. frozen-protocol.sha256 schützt diesen
Stand; model-artifacts.json enthält die fixierte Revision und Dateiprüfsummen.
results-initial.json und results-repeat.json sind die echten Messdateien.

Ergebnis: BM25 Hit@1 7/10, Hit@3 7/10; Embedding Hit@1 9/10, Hit@3 10/10.
Die zwei Fragen ohne Antwort werden NICHT in diese Nenner eingerechnet.
Embedding-Scores sind keine Wahrscheinlichkeiten für richtige Antworten.
Die Erstplatzierung für „Rundmails“ war falsch (D1 statt D8; D8 auf Rang 2).

Gleiche Umgebung ergab exakt gleiche Rangfolgen und Rohscores. Auf anderen
Plattformen oder Laufzeitversionen sind kleine Zahlenabweichungen möglich.
Die gemessene Laufzeit im Ergebnis ist kein fairer Performancevergleich.
Keine automatische Übertragung dieser Ergebnisse auf andere Korpora/Produkte.

Quelle und Artikel: https://tokenwerk.de/artikel/semantische-suche/
