Jan AI: Lokale KI-Oberfläche und API im Überblick

Jan Desktop, Modell und Agent unterscheiden

Jan Desktop ist die Anwendung. Das gewählte Modell verarbeitet die Eingabe. Der separat dokumentierte Jan Agent ist ein anderer Zugang für agentische Aufgaben; seine Vorschauinstallation ist nicht der nötige Einstieg in den gewöhnlichen Desktop-Chat.

Am 19. Oktober 2026 nennt die öffentliche GitHub-Releasequelle v0.8.6 vom 9. Oktober 2026 als neuesten stabilen Release. Die Versionsangabe hilft bei der Fehlersuche. Sie ist kein eigener Geschwindigkeits- oder Kompatibilitätstest.

Wenn du eine weitere lokale Desktopanwendung kennenlernen möchtest, erklärt der Beitrag zu GPT4All dessen Modell- und Dokumentenfunktionen. Die Bedienung und unterstützten Funktionen verschiedener Anwendungen lassen sich nicht einfach gleichsetzen.

Den ersten lokalen Chat einrichten

1. Öffne den offiziellen Jan-Quickstart und den dort verlinkten Download für dein System. Kontrolliere dessen aktuelle Hardware- und Betriebssystemvoraussetzungen.
2. Installiere und starte Jan Desktop. Lege die angebotenen Analytikpräferenzen bewusst fest.
3. Warte beim ersten Start auf den dokumentierten Download des Standardmodells. Ein unvollständiger Download ist noch kein startbereites Modell.
4. Prüfe im Modellwähler, welches lokale Modell ausgewählt ist. Lass für den ersten Versuch Websuche und externe Verbindungen weg.
5. Stelle eine kleine Frage mit einem leicht überprüfbaren Ergebnis.

Schreibe die folgende fiktive Notiz kürzer, ohne ihre Fakten zu ändern:
Das Team plant einen zweiwöchigen Test. Das Werkzeug ist noch nicht gewählt. Jeder Entwurf soll vor der Nutzung geprüft werden.

Nenne danach, was geplant ist und was noch offen bleibt.

Die Antwort darf weder ein bereits feststehendes Werkzeug noch eine gemessene Verbesserung ergänzen. Dieser Test prüft einen einfachen Arbeitsweg. Er belegt nicht die allgemeine Qualität des gewählten Modells. Für diesen Artikel wurde Jan nicht selbst installiert oder ausgeführt.

Ein Modell passend zur Hardware auswählen

Im Hub zeigt Jan nach der aktuellen Modell-Dokumentation Hinweise wie „Fits“, „May be slow“ oder „Won’t fit“. Diese Hinweise betreffen die erwartete Hardwarepassung. Sie sind kein allgemeiner Qualitätsscore und kein gemessener Wert für deinen späteren Arbeitsablauf.

Für die llama.cpp-Laufzeit sind unterstützte GGUF-Dateien relevant; für Apple Silicon dokumentiert Jan zusätzlich MLX. Dateiformat, Modellarchitektur und enthaltene Laufzeit müssen zusammenpassen. Ein neuer Modellname oder eine vorhandene Datei garantiert allein noch keine Unterstützung.

Wenn du lokale KI-Modelle auswählen möchtest, prüfe Aufgabe, Datei, Kontext, Speicher und Lizenz gemeinsam. Lade zunächst einen passenden Kandidaten und halte seine vollständige Kennung fest. So kannst du später nachvollziehen, welche Kombination geantwortet hat.

Die lokale API kontrolliert öffnen

Die aktuelle API-Dokumentation verlangt zum Start ein lokales Modell, das Jan laden kann. Wähle es unter „Settings → Local API Server“ als Standardmodell und starte den Server. Warte auf den laufenden Status. Für lokale Modelle nennt die Dokumentation auf dem Mac Apple Silicon als Voraussetzung.

Die Standardbasis lautet http://127.0.0.1:1337/v1. Behalte für den ersten Versuch die Bindung an 127.0.0.1 bei. Konfiguriere selbst einen lokalen API-Schlüssel und verwende ihn im Client. Laut aktueller Dokumentation ist ein Schlüssel technisch optional; das folgende Beispiel setzt einen konfigurierten Schlüssel voraus.

$janModel = Read-Host 'Lokale Modell-ID aus Jan'
$janSecure = Read-Host 'In Jan konfigurierter API-Schluessel' -AsSecureString
$janCredential = [pscredential]::new('jan', $janSecure)
$janHeaders = @{ Authorization = 'Bearer ' + $janCredential.GetNetworkCredential().Password }
$janPayload = @{
    model = $janModel
    messages = @(@{ role = 'user'; content = 'Antworte nur: Test OK' })
} | ConvertTo-Json -Depth 5
try {
    Invoke-RestMethod -Uri 'http://127.0.0.1:1337/v1/chat/completions' -Method Post -Headers $janHeaders -ContentType 'application/json; charset=utf-8' -Body ([Text.Encoding]::UTF8.GetBytes($janPayload))
} finally {
    $janHeaders.Clear()
    Remove-Variable janCredential, janSecure -ErrorAction SilentlyContinue
}

Gib die tatsächliche lokale Modell-ID aus Jan ein. Der Schlüssel wird im Beispiel verdeckt abgefragt und nicht als Klartext in den kopierten Befehl geschrieben. Der Test muss eine normale API-Antwort liefern; allein eine offene TCP-Verbindung prüft weder Modellwahl noch Antwort. Das Beispiel wurde nicht gegen eine laufende Jan-Instanz ausgeführt.

Cloud, Websuche und MCP getrennt prüfen

Auch der lokale API-Server kann laut Dokumentation Anfragen an eingerichtete Remote- oder Custom-Provider weiterleiten. Die Adresse im Client sagt deshalb noch nicht, wo gerechnet wird. Prüfe Modell-ID, Provider und aktive Werkzeuge zusammen. Ein lokaler Chat mit eingeschalteter Websuche hat außerdem einen weiteren Datenweg.

Die serverseitige Ausführung von MCP-Werkzeugen ist eine separate API-Einstellung und laut Dokumentation standardmäßig deaktiviert. Lass sie für den ersten Test ausgeschaltet. Bevor du Verbindungen erweiterst, kannst du MCP-Zugänge kontrolliert einrichten und die angebotenen Aktionen sowie Rechte einzeln prüfen.

Jan beschreibt Produktanalytik als einstellungsabhängig und trennt in seiner Datenschutzübersicht externe Cloudmodelle von lokaler Verarbeitung. Das sind Anbieterangaben, keine eigene Datenschutzprüfung. Halte sensible Inhalte auch aus Diagnoseprotokollen heraus und kontrolliere, welche ausführlichen Logs aktiviert sind.

Fehler am betroffenen Schritt eingrenzen

Der Release v0.8.6 enthält unter anderem dokumentierte Korrekturen für Modellladeprobleme bestimmter Linux-AppImages und älterer NVIDIA-Karten. Das bedeutet nicht, dass jeder ähnliche Fehler dieselbe Ursache hat. Vergleiche die konkrete Versions- und Fehlersituation mit den Releasehinweisen, bevor du Treiber oder Einstellungen auf Verdacht änderst.