AnythingLLM einrichten: Eigene Dokumente mit KI befragen

Was AnythingLLM übernimmt

AnythingLLM ist die Anwendung um das Modell herum. Du verwaltest darin Wissensbereiche, stellst Fragen und verbindest je nach Konfiguration Sprachmodelle, Embedding-Modelle, Vektorspeicher oder Werkzeuge. Die Antwortqualität bleibt vom gewählten Modell und den tatsächlich gefundenen Informationen abhängig. Bei einem lokalen Provider hilft dir die Auswahl lokaler KI-Modelle, Aufgabe, Speicher und Lizenz getrennt zu prüfen.

Ein Workspace ist dabei ein abgegrenzter Arbeitsbereich für Chats und Dokumente. Er ist kein neues trainiertes Modell: Hinzugefügtes Wissen wird als Kontext oder über eine Suche bereitgestellt. Ein Modell bekommt dadurch nicht automatisch den vollständigen Inhalt jedes Dokuments zu sehen.

Für einen Einzelplatz ist Desktop der direkte Einstieg; Docker bietet unter anderem Mehrbenutzerfunktionen und eine Browseroberfläche. Wenn du noch zwischen App und Weboberfläche entscheidest, hilft dir Oberflächen für lokale KI vergleichen. Entscheidend ist der Arbeitsweg, den du tatsächlich brauchst.

Desktop einrichten und den Provider bewusst wählen

1. Öffne die offizielle Desktop-Anleitung und wähle den Download für dein Betriebssystem. Installiere die App nach der dort verlinkten OS-Anleitung.
2. Öffne die App und prüfe, welcher LLM-Provider ausgewählt ist. Die aktuelle eingebaute Engine nutzt Lemonade mit llama.cpp. Ein separat installierter Ollama-Server ist ein anderer Weg und wird über den Ollama-Provider angebunden.
3. Wähle ein Modell, dessen Speicherbedarf und Format zu deinem Rechner passen. Lade zunächst nur das für die Probe benötigte Modell. Ein erfolgreiches Herunterladen belegt noch keine passende Antwortqualität.
4. Prüfe auch Embedding-Provider und weitere Funktionen. Falls du ausschließlich lokal arbeiten willst, müssen diese Komponenten ebenfalls einen lokalen Datenweg haben.
5. Erstelle einen Workspace mit dem Namen Morgenstern-Test und stelle eine einfache Frage ohne Datei. Erst wenn eine Antwort entsteht, folgt die Dokumentenprobe.

Lasse Network Discovery für diesen Einzelplatzversuch ausgeschaltet. Diese Desktop-Option öffnet die API im Netzwerk, teilt aber keine Weboberfläche und stellt keine Mehrbenutzer-Anmeldung davor. Für einen gemeinsamen Serverzugang ist die Docker-Variante mit passender Zugriffskonfiguration vorgesehen.

Die eingebettete Engine kann je nach Gerät andere Beschleuniger nutzen. Das ist eine Unterstützungsmöglichkeit, keine Zusage für Tempo oder Modellgröße auf deinem Rechner. Notiere deshalb Appversion, Modell und Provider zusammen.

Dein erster Wissensbereich mit prüfbarem Inhalt

Lade die eigene fiktive Morgenstern-Testdatei herunter. Sie enthält nur einen Termin, ein zuständiges Team und ausdrücklich keinen Ort. Es sind keine echten Unternehmensdaten.

FIKTIVE ÜBUNGSDATEI · TOKENWERK
Projekt: Morgenstern
Dokument-ID: TW-MORGEN-01
Stand: Übungsversion 1

Die interne Testbesprechung findet dienstags um 10:30 Uhr statt.
Für Fragen zur Testbesprechung ist das Team Modellbetrieb zuständig.
Ein Ort oder ein Videokonferenz-Link ist in dieser Datei nicht angegeben.

Für die erste kurze Probe kannst du die Datei über das Pluszeichen an den aktuellen Chat hängen. Ein Anhang wird für den jeweiligen Thread verwendet und kann seinen vollständigen Text in den Modellkontext einbringen. Beobachte die angezeigte Kontextbelegung, statt eine zu große Datei einfach trotzdem fortzusetzen.

Für einen Dokumentenbestand über mehrere Threads hinweg fügst du das Dokument dem Workspace als eingebettetes Dokument hinzu. Dieser RAG-Weg zerlegt Text und ruft zur Frage passende Ausschnitte ab. In einem geteilten Workspace betrifft die Verfügbarkeit auch die anderen berechtigten Nutzer. Anhängen und Einbetten sind deshalb unterschiedliche Entscheidungen.

Beginne mit einem Weg, prüfe ihn und entferne den Anhang vor dem Vergleich des anderen Wegs. So vermeidest du, dass die richtige Antwort nur aus einem noch vorhandenen Volltext stammt, obwohl du eigentlich den Retrieval-Zugriff testen möchtest.

Antworten und Fundstellen kontrollieren

Stelle eine Frage mit bekannter Antwort, öffne die genannte Textstelle und gleiche Aussage und Fundstelle mit deiner Datei ab. Für diese enge Dokumentenprobe prüfst du den Modus Query, der die Antwort auf Dokumentinformationen ausrichtet. Chat kann zusätzlich allgemeines Modellwissen verwenden; Agent kann verfügbare Werkzeuge, Skills und MCP-Zugänge einbeziehen. Zusätzliche Werkzeuge brauchst du für diese Probe nicht.

Nutze nur die bereitgestellte Datei TW-MORGEN-01.
Wann findet die Testbesprechung statt und wer ist zuständig?
Nenne die passende Textstelle. Fehlt eine Angabe, schreibe: nicht angegeben.

Erwartet sind Dienstag, 10:30 Uhr und Team Modellbetrieb. Öffne die angezeigte Fundstelle beziehungsweise vergleiche die Antwort direkt mit der Testdatei. Ein angezeigter Quellenname allein beweist nicht, dass die Aussage dort steht.

Query ist eine Produktfunktion und keine Garantie gegen erfundene Angaben. Auch ein guter Quellenprompt ersetzt die Kontrolle nicht. Fremde Anweisungen in Dokumenten erkennen erklärt, warum ein eingelesener Text außerdem keine neuen Werkzeugrechte erhalten darf.

Warum Dokumentenfragen trotzdem scheitern

Arbeite vom Zugriff zur Formulierung. Ist die richtige Datei im richtigen Thread oder Workspace? Wurde sie erfolgreich verarbeitet? Liefert die Suche eine Passage mit der Antwort? Erst danach lässt sich beurteilen, ob das Modell den vorhandenen Beleg richtig formuliert.

Eine Suchschwelle auf Verdacht stark zu lockern kann auch irrelevante Stellen hineinholen. Ändere eine Einstellung zur Zeit und wiederhole die bekannte sowie die fehlende Frage. Die Grundlagen zu Embeddings und Vektorsuche verstehen helfen dir, Suchtreffer von Antwortqualität zu unterscheiden.

Datenwege, Löschen und Enginewechsel prüfen

Schreibe den Weg deiner Datei auf: App, Parser, Embedding-Provider, Speicher, Modellprovider und gegebenenfalls Werkzeuge. Eine Cloudkomponente kann Inhalte verarbeiten, obwohl die Oberfläche auf deinem Rechner läuft. Der Hersteller beschreibt außerdem abschaltbare anonyme Telemetrie; prüfe die aktuelle Einstellung in deiner Installation.

Beim Aufräumen gibt es zwei Ebenen. Entfernen aus einem Workspace beendet dort die Nutzung, lässt das Dokument aber in My Documents. Löschen in My Documents entfernt nach Herstellerbeschreibung den geparsten Text und gecachte Embeddings und nimmt das Dokument aus allen Workspaces. Berücksichtige eigene externe Backups oder andere Provider gesondert.

Beim Umstieg von der älteren eingebetteten Engine auf die aktuelle Laufzeit werden nach Herstellerangabe alte Engine und heruntergeladene Modelle entfernt und Modelle neu geladen. Das Changelog beschreibt Workspaces, Chats und Dokumente als erhalten. Prüfe trotzdem deinen Sicherungs- und Wiederherstellungsweg vor einem echten Umstieg. Dieser Guide dokumentiert keinen durchgeführten Enginewechsel.