TOKENWERK · RAG-PRÜFPAKET · 27.10.2026

Was enthalten ist
rag-fixtures.json: drei erfundene Dokumente, Versionen/Rollen und zwölf Fragen mit vorab festgelegtem Soll.
rag-pruefung.py: ausführbares Programm, ausschließlich Python-Standardbibliothek und lokale Ollama-HTTP-API.
versuchsplan.json: vor dem ersten Modellaufruf eingefrorener Aufbau, Prompt, JSON-Schema, Parameter, Hashes und Modell-Digest.
rohantworten.json: alle zwölf Requests, gefundenen Passagen und unveränderten Modellantworten; keine entfernten Fehlfälle.
auswertung.json / auswertung.csv: einzelner KI-gestützter redaktioneller Sollabgleich; kein unabhängiger menschlicher Blindtest.
messwerte.csv: beobachtete Laufzeiten und formale Prüfungen, kein isolierter Geschwindigkeitsbenchmark.

Tatsächlicher Lauf
Ollama 0.40.8; qwen3.5:4b, Q4_K_M; Digest d8b0f5e9760cd1682034f292d7ef72ec46f432149be0df7574bf2d6e92e38c04.
Kontext 4096, Ausgabelimit 384, Temperatur 0, Seed 20261027, Thinking aus. Ein Aufruf pro Frage, keine stillen Wiederholungen.
RTX 4070 Laptop GPU; der konkrete Rechnerzustand war nicht isoliert. Die erste Antwort kann Modellladezeit enthalten.
Zugriffe nur auf einen eigenen lokalen Ollama-Dienst mit deaktivierter Ollama-Cloud. Keine externe Modell-API und keine bezahlten Modellaufrufe. Kein Paketmitschnitt/Netzwerk-Isolationsaudit.

Ergebnis und Grenzen
12 formal lesbare JSON-Antworten mit zulässigen Quellenkennungen. Inhaltlich 8 vollständig, 3 teilweise erfüllt und 1 falsche Fallentscheidung (P2).
Passende Dokumentfassung in 11/11 Sachfällen; in 1 konstruierten Rechtefall keine interne Notiz im Kontext.
Der Rollen-/Datumsfilter liegt vor der Suche. Die Rolle wird im Beispiel vom Aufrufer übergeben und ist KEINE Authentifizierung.
Pro Stichtag/Rolle blieb nur eine zulässige Rückgabefassung; das ist keine anspruchsvolle Suche über viele ähnliche Dokumente.
Lexikalische TF-IDF-Kosinus-Suche, keine gelernten Embeddings, keine Vektordatenbank, kein n8n-Template-Test.
Die künstlichen Rückgaberegeln sind weder echte Geschäftsbedingungen noch Rechtsberatung.

Selbst ausführen
1. ZIP in einen neuen Übungsordner entpacken. Python 3.10 oder neuer und Ollama müssen bereits installiert sein.
2. Eine lokale Ollama-Instanz starten. Für einen reinen lokalen Weg die Ollama-Cloud nach Herstelleranleitung deaktivieren. Das Programm installiert oder startet selbst keinen Dienst.
3. Ein geeignetes Modell muss lokal vorhanden sein. Optionaler separater Download: ollama pull qwen3.5:4b
   Ein Download benötigt Internet und Speicher; auf deinem Rechner kann eine andere Modellversion/Digest ankommen.
4. Im entpackten Ordner ausführen:
   python rag-pruefung.py --base-url http://127.0.0.1:11434 --model qwen3.5:4b --output meine-ergebnisse-01
   Falls dein System python3 verwendet, diesen Befehlsnamen einsetzen. Der Ausgabeordner muss neu sein.
5. Alle neuen Antworten gegen die Kriterien in rag-fixtures.json lesen. Das Programm prüft Format und Quellenzuordnung, nicht automatisch die fachliche Richtigkeit.

Das Beispiel verbindet sich ausschließlich mit einer expliziten Loopback-HTTP-Adresse, verwendet keinen Umgebungsproxy und lädt keine fremden URLs aus Dokumenten.
Keine privaten Dokumente oder Zugangsdaten für diesen Versuch verwenden. Ein lokaler Prozess allein ist keine umfassende Datenschutz- oder Sicherheitsgarantie.
Bei einer bewussten Änderung von Prompt, Quellen, Parametern oder Modell einen neuen Ausgabeordner und eine neue Auswertung verwenden. Fehler des ursprünglichen Laufs nicht überschreiben.
