TECH. KI. KLARTEXT.
Tokenwerk

Technologie verstehen.
Besser entscheiden.

Suche Newsletter

Tools, MCPs und Skills · Lektion 1 von 6

Lokale KI einrichten: vom Rechner zur ersten Antwort

Du brauchst drei Dinge: eine passende Laufzeit, heruntergeladene Modellgewichte und eine überprüfbare erste Anfrage. Gehe sie nacheinander durch.

35 Minuten · SchätzungEinrichten
Zusammenhang: Lokale KI einrichten: vom Rechner zur ersten Antwort. Installer, Terminal, Modell, App / API
Installer · Terminal · Modell · App / API

Nach dieser Lektion

Das kannst du prüfen.

Du kannst eine lokale Laufzeit, den Modelldownload und eine erste Antwort getrennt prüfen und dein Setup dokumentieren.

Du brauchst
Ein von Ollama unterstützter Rechner, Internet für Installation und Modelldownload sowie freier Speicher. Die Planung geht auch ohne Installation.

Kurz erklärt

Lokale KI einrichten heißt hier: Laufzeit installieren, ein ausdrücklich lokales Modell laden und eine kleine Anfrage prüfen. Kontrolliere diese drei Schritte getrennt. Eine startende App oder eine erreichbare API zeigt noch nicht, dass das gewünschte Modell bereits antwortet.

Laufzeit und Modell sind zwei verschiedene Dinge

Ollama ist die Laufzeit. Ein lokal verwendetes Modell muss zusätzlich auf deinen Rechner geladen werden. Dass die App startet, belegt deshalb noch nicht, dass dein ausgewähltes Modell vorhanden ist oder flüssig läuft.

Ollama unterstützt auch Cloudmodelle. Wähle für diese Übung ausdrücklich ein lokales Modell. Der Hersteller-Quickstart beschreibt lokale Anfragen ohne API-Schlüssel. Eine Erweiterung oder ein verbundenes Werkzeug kann trotzdem andere Datenwege haben; prüfe diese gesondert. Der Ollama-Grundlagenguide erklärt ergänzend, wie lokale Laufzeit, Modell und Oberfläche zusammenarbeiten.

Rechner und Speicher vor dem Download prüfen

Notiere Betriebssystem, freien Datenträgerplatz, Arbeitsspeicher und gegebenenfalls Grafikspeicher. Ein größeres Modell und ein längerer Kontext können mehr Speicher beanspruchen. Eine pauschale Modellgröße sagt daher noch nicht, ob dein konkreter Betrieb funktioniert.

Der geprüfte Quickstart verwendet gemma4:e2b als lokalen Einstieg. Das ist ein Herstellerbeispiel und kein Tokenwerk-Hardwaretest. Vergleiche dessen aktuelle Anforderungen vor dem Download mit deinem Rechner; wähle bei Bedarf ein anderes dokumentiertes lokales Modell.

Vom Lesen zum eigenen Versuch

So beginnst du.

Ein von Ollama unterstützter Rechner, Internet für Installation und Modelldownload sowie freier Speicher. Die Planung geht auch ohne Installation.

Windows

Öffne den offiziellen Windows-Download und starte OllamaSetup.exe. Öffne nach der Installation Start → PowerShell für die Befehle. Die native App läuft laut Hersteller im Hintergrund; du brauchst keinen zweiten Serverstart.

macOS

Lade die macOS-App aus der Herstellerquelle, installiere und öffne sie. Für Befehle öffnest du die App Terminal. Prüfe die aktuellen System- und Modellanforderungen vor dem Download.

App statt Shell

Wähle in der Ollama-App ausdrücklich ein lokales Modell. Nutze den kopierbaren Testsatz und prüfe den gewählten Modelltag. Ein Cloudmodell ist ein anderer Datenweg. Die App unterstützt macOS und Windows; für Linux verwendet diese Lektion den Terminalweg.

Terminal verstehen

Das Terminal ist das Fenster für Befehle; die Shell verarbeitet sie. Windows-Beispiele verwenden PowerShell, Linux-Beispiele Bash. Kopiere nur den Befehl, keinen vorangestellten Prompt wie PS> oder $. Beginne jede Abfrage in einem neuen Fenster, wenn der Installer gerade erst beendet wurde.

  1. 01

    Offiziellen Installationsweg auswählen

    Öffne die Hersteller-Downloadseite und wähle dein Betriebssystem. Unter Windows ist der manuelle OllamaSetup.exe-Installer beschrieben. Unter Linux erklärt die Herstellerseite Installation und Dienstbetrieb. Prüfe ein heruntergeladenes Installationsskript, bevor du es ausführst.

    Erkennbar an: Du kennst die Quelle des Installers und die Voraussetzungen deines Betriebssystems.

  2. 02

    Laufzeit erreichbar machen

    Nach der Installation öffnest du ein neues Terminal und prüfst die Version. Unter Windows läuft Ollama laut Dokumentation im Hintergrund. Unter Linux prüfst du den eingerichteten Dienst; starte ollama serve nur, wenn noch kein Server läuft.

    Erkennbar an: Die Versionsabfrage antwortet; ein bereits laufender Dienst wird nicht doppelt gestartet.

  3. 03

    Ein lokales Modell auswählen

    Nutze die dokumentierte lokale Auswahl oder lade ein konkretes Modell per ollama run. Der erste Aufruf kann einen Download auslösen. Halte Modelltag und Speicherplatz in deinem Protokoll fest; ein Cloudtag ist für diese lokale Übung nicht die passende Auswahl.

    Erkennbar an: Das Modell erscheint in ollama list und du weißt, welches Modell deine Anfrage beantwortet.

  4. 04

    Eine kleine Anfrage prüfen

    Frage nach einer kurzen Erklärung und kontrolliere, ob eine Antwort erscheint. Beende den Terminalchat mit /bye. Für die Abnahme zählt zuerst der nachvollziehbare Datenweg, nicht ein Eindruck von Geschwindigkeit oder Qualität.

    Erkennbar an: Du dokumentierst Modelltag, Betriebsart und Ergebnis getrennt.

1 · Laufzeit prüfen

PowerShell / Terminal

Nach der Installation in einem neu geöffneten Terminal. Eine leere Modellliste ist vor dem ersten Download normal.

ollama --version
ollama list
Als Textdatei ↓

2 · Lokales Herstellerbeispiel laden

PowerShell / Terminal

Prüfe zuvor die Anforderungen. Im geprüften Herstellerbeispiel umfasst der Download etwa 7,2 GB; 8 GB verfügbarer VRAM beziehungsweise Mac-Unified-Memory werden empfohlen. Das ist keine Messung auf deinem Rechner.

ollama pull gemma4:e2b
ollama run gemma4:e2b
Als Textdatei ↓

3 · Erste Unterhaltung

Im Ollama-Chat

Die Frage gehört in den gestarteten Chat. /bye beendet diesen Chat; es deinstalliert nichts.

Erkläre in zwei Sätzen den Unterschied zwischen einer Laufzeit und einem Modell.

/bye
Als Textdatei ↓
Linux · Anweisung und Kopiervorlagen

Linux · Installer erst lesen

Bash

Optionaler Linux-Weg. Prüfe das Skript vor der Ausführung; die Installation kann Administratorrechte verlangen. Die Seite führt keinen dieser Schritte aus.

curl -fsSL https://ollama.com/install.sh -o ollama-install.sh
less ollama-install.sh
sh ollama-install.sh
Als Textdatei ↓

Linux · Dienst überprüfen

Bash

Nach der Installation. ollama serve ist nur ein alternativer Start für einen noch nicht laufenden Server; starte keinen zweiten Dienst auf demselben Port.

systemctl status ollama --no-pager
ollama --version
curl -s http://127.0.0.1:11434/api/tags
Als Textdatei ↓
Linux-Server · Anweisung und Kopiervorlagen

Optional · Verbindung zum eigenen Linux-VPS

PowerShell / Terminal

Ersetze Benutzer und Servername. Du brauchst Shellzugang, passende Modellressourcen und die Erlaubnis zur Installation. Ein reiner HTML-/FTP-Webspace ist dafür kein Laufzeithost.

ssh benutzer@SERVERNAME
Als Textdatei ↓

Auf dem VPS · Laufzeit und Modell prüfen

Linux-Shell auf dem Server

Verwende zuerst den Linux-Installationsweg und prüfe die Ressourcen des Servers. Stelle den Dienst nicht ohne Zugangsschutz ins öffentliche Netz.

ollama --version
systemctl status ollama --no-pager
ollama list
Als Textdatei ↓

Auf deinem Rechner · SSH-Tunnel

PowerShell / Terminal auf deinem Rechner

Der ausschließlich an 127.0.0.1 gebundene lokale Port 11435 führt durch die SSH-Verbindung zum Ollama-Port auf dem VPS. Lasse dieses Terminal für den Versuch offen. Die URL wird anschließend auf deinem Rechner benutzt, nicht auf dem VPS. Ist der Port belegt, bricht der Tunnelstart ab; zuerst die Ursache prüfen.

ssh -N -o ExitOnForwardFailure=yes -L 127.0.0.1:11435:127.0.0.1:11434 benutzer@SERVERNAME
Als Textdatei ↓

Tunnel unter Windows prüfen

PowerShell auf deinem Rechner

In einem zweiten lokalen PowerShell-Fenster. Die API-Abfrage bestätigt Erreichbarkeit, nicht Antwortqualität oder freie Kapazität.

Invoke-RestMethod -Uri "http://127.0.0.1:11435/api/tags"
Als Textdatei ↓

Tunnel unter macOS/Linux prüfen

Lokales Terminal

In einem zweiten Terminal auf deinem Rechner. Die Windows- und macOS/Linux-Prüfkommandos sind Alternativen.

curl -s http://127.0.0.1:11435/api/tags
Als Textdatei ↓
Herstellerunterlagen zu diesen Schritten · geprüft 19.10.2026

Die Installation und ein echter Modelllauf wurden für dieses Lernmaterial nicht auf deinem Gerät ausgeführt. Die Grafiken erklären den Ablauf; sie sind keine Screenshots oder Leistungsmessungen.

Drei getrennte Nachweise für dein Setup

Prüfreihenfolge für deinen eigenen Versuch; keine hier gemessenen Ergebnisse.

  1. Laufzeitollama --version

    Der Befehl antwortet mit einer Version.

  2. Modellollama list

    Der gewünschte lokale Modelltag ist vorhanden.

  3. AnfrageErste kurze Antwort

    Du notierst Modelltag, Betriebsart und den beobachteten Ausgang.

Eigene erklärende Darstellung. Prüfschritte selbst beobachten; kein gemessenes Ergebnis.

Jetzt bist du dran

Erstelle dein erstes Setup-Protokoll

Fülle das Protokoll aus. Wenn du die Installation nicht durchführen möchtest, notiere stattdessen deine Voraussetzungen und den vorgesehenen Prüfablauf. Stelle eine geplante Prüfung nicht als durchgeführt dar.

Dein Übungsmaterial

Eigenes Lernbeispiel · keine echten Kundendaten

Betriebssystem / Version: …
Freier Datenträgerplatz / RAM / VRAM: …
Ollama-Version: …
Modelltag / lokal oder Cloud: …
Download abgeschlossen: ja / nein
Erste Antwort erhalten: ja / nein
Offener Fehler mit Zeitpunkt: …
Übungsblatt als Textdatei herunterladen ↓

Optionaler Arbeitsauftrag

Für deinen eigenen Versuch. Diese Seite führt den Auftrag nicht aus.

Optionale Terminalschritte nach deiner Installation und Prüfung der Anforderungen:
ollama --version
ollama list
ollama run gemma4:e2b

Im gestarteten Chat: Erkläre in zwei Sätzen den Unterschied zwischen Laufzeit und Modell.
Zum Beenden des Chats: /bye
Lösungshinweis und mögliche Lösung
  • Die Versionsabfrage prüft die verfügbare Laufzeit. Die Modellliste prüft separat, welche Modelle vorhanden sind.
  • Ein vorhandener Modelltag und eine Antwort sind Hinweise auf den funktionierenden Versuch. Sie beweisen keine bestimmte Antwortqualität oder vollständige Datenschutzprüfung.
  • Wenn keine Antwort erscheint, protokolliere den genauen Schritt. Prüfe zunächst Dienst, Modelltag und Ressourcen, statt mehrere Einstellungen gleichzeitig zu ändern.

Achte darauf: Weil Ollama installiert ist, automatisch jede Anfrage als lokal verarbeitet oder jedes Modell als bereits heruntergeladen ansehen.

Du bist fertig, wenn Dein Protokoll trennt Installation, Modell und Anfrage. Durchgeführte und nur geplante Schritte sind eindeutig gekennzeichnet.

Ein kurzer Selbsttest

Hast du den Unterschied erkannt?

Ollama startet, aber dein gewünschtes Modell fehlt in der Liste. Was fehlt?

Das Häkchen ist deine eigene Einschätzung. Speichern ist unten freiwillig.

Dieses Setup ist der Einstieg in den Lernpfad Tools, MCPs und Skills. Dort folgen Toolwahl, MCPs, Skills und eine eigene Fehlerlektion aufeinander.

Häufige Fragen

Installiert diese Seite Ollama auf meinem Rechner?

Nein. Du führst optionale Installationsschritte selbst aus. Das Lernmaterial lässt sich auch als Planungsübung verwenden.

Brauche ich einen API-Schlüssel für ein lokales Ollama-Modell?

Für den dokumentierten lokalen Einstieg nicht. Cloudzugänge und zusätzliche Integrationen haben eigene Voraussetzungen.

Warum ist mein Modell langsamer als erwartet?

Das kann unter anderem mit Modell, Hardware und Kontext zusammenhängen. Notiere diese Bedingungen und nutze die Fehlerlektion zur schrittweisen Eingrenzung statt eine allgemeine Geschwindigkeitszusage anzunehmen.

Was ist der Unterschied zwischen ollama list und einer ersten Modellantwort?

Die Liste zeigt vorhandene Modelle beziehungsweise deren Metadaten. Eine Antwort prüft zusätzlich einen konkreten Modellaufruf. Beides beweist noch keine bestimmte Qualität oder vollständige Prüfung des Datenwegs.

Kann ich Ollama auf gewöhnlichem FTP-Webspace betreiben?

Für das Laufzeitbeispiel brauchst du eine passende Serverumgebung mit Shellzugang, Ressourcen und Installationsberechtigung. Reiner Speicherplatz für HTML-Dateien führt den Ollama-Dienst nicht aus.

Verständlichkeit, Lernführung und FAQs redaktionell geprüft am . Die technischen Quellenstände stehen bei den jeweiligen Anleitungen. Beispiele bleiben als eigene Übungsfälle gekennzeichnet.

Quellen & Einordnung · 14. Oktober 2026

Weiterlesen und Angaben prüfen.

Die Windows-Preview-Meldung von 2024 dient als historische Quelle. Die Schritte beruhen auf den aktuellen Herstelleranleitungen. Installation und Modelllauf wurden für diese Lektion nicht auf deinem Rechner ausgeführt oder gemessen.

Optional · nur dieser Browser

An deiner Stelle weiterlernen.

Die Einheiten bleiben ohne Anmeldung nutzbar. Erst nach deinem Klick merkt sich dieser Browser deine Häkchen. Du kannst sie jederzeit löschen. Quizantworten werden nicht gespeichert oder versendet.

Fortschritt wird aktuell nicht gespeichert.