Zum Inhalt springen
Verantwortungsvolle KI9 Min. Lesezeit

Ollama einrichten: KI lokal auf dem eigenen Laptop

Warum ein lokales Sprachmodell sinnvoll ist, wenn Daten das Haus nicht verlassen sollen, und wie du Ollama in vier Schritten auf macOS, Windows oder Linux einrichtest. Mit Befehlen aus der offiziellen Dokumentation.

Video von YouTube

Das Video wird von YouTube bereitgestellt. Wie bei jedem eingebetteten YouTube-Video erhält YouTube (Google) dabei die üblichen technischen Daten, etwa deine IP-Adresse.

Warum ein Modell auf dem eigenen Laptop?

Wenn du etwas in einen öffentlichen Chatbot kopierst, verlässt es deinen Rechner und wird auf dem Server eines anderen Unternehmens verarbeitet. Für viele Alltagsaufgaben ist das in Ordnung. Für eine Kundenliste, einen Vertrag oder interne Notizen oft nicht, und im deutschen Arbeitsalltag kommt diese Frage schnell auf.

Ollama ist ein kostenloses Open-Source-Tool, mit dem große Sprachmodelle direkt auf deinem Rechner laufen. Es steht unter MIT-Lizenz und gehört zu den beliebtesten KI-Projekten auf GitHub (186.900 Sterne, Stand 14. November 2026). In Ollamas eigener FAQ heißt es sinngemäß: Wer lokal arbeitet, dessen Prompts und Daten sieht Ollama nicht.

Was du davon hast:

  • Deine Daten bleiben auf deinem Gerät. Das Modell läuft auf deinem Laptop, Prompts und Antworten gehen an keinen Anbieter.
  • Es funktioniert offline. Ist ein Modell einmal geladen, kannst du das WLAN ausschalten und es antwortet trotzdem.
  • Kein API-Schlüssel, keine Kosten pro Anfrage bei lokalen Modellen. Du zahlst mit Speicherplatz, Arbeitsspeicher und Akku.
  • Eine lokale Schnittstelle für deine Tools. Skripte, Automatisierungen und Coding-Tools erreichen es unter localhost:11434.
Das Repository ollama/ollama auf GitHub mit MIT-Lizenz und 186,9k Sternen
github.com/ollama/ollama, aufgenommen am 14. November 2026

Bevor du loslegst

Aus den offiziellen Systemanforderungen:

  • macOS: Sonoma (14) oder neuer. Auf Apple Silicon (M-Chips) laufen Modelle auf CPU und GPU, auf Intel-Macs nur auf der CPU.
  • Windows: Windows 10 22H2 oder neuer, Home oder Pro. Der Installer braucht keine Administratorrechte und installiert in deinen Benutzerordner.
  • Linux: amd64 oder ARM64. NVIDIA- und AMD-Grafikkarten werden mit den passenden Treibern unterstützt.
  • Speicherplatz: ein paar GB für Ollama selbst, dazu die Modelle. Kleine Modelle haben 1–3 GB, größere mehrere Dutzend GB.

Schritt 1: Ollama installieren

Die Befehle unten stehen genau so auf ollama.com/download. Wähle dein System.

macOS und Linux

Öffne das Terminal und führe aus:

bash
curl -fsSL https://ollama.com/install.sh | sh

Auf dem Mac kannst du auch auf Download manually klicken, Ollama.dmg öffnen und Ollama in den Programme-Ordner ziehen. Beim ersten Start bietet die App an, den Befehl ollama im Terminal verfügbar zu machen.

Windows

Öffne PowerShell und führe aus:

powershell
irm https://ollama.com/install.ps1 | iex

Lieber ein klassischer Installer? Klick auf Download manually und starte OllamaSetup.exe.

Prüfen, ob es geklappt hat

Öffne ein neues Terminalfenster und führe aus:

bash
ollama -v

Siehst du eine Versionsnummer, ist Ollama installiert. Unter macOS und Windows läuft Ollama jetzt im Hintergrund (das Lama-Symbol in der Menüleiste oder Taskleiste) und lädt Updates selbst herunter. Unter Linux aktualisierst du, indem du den Installationsbefehl noch einmal ausführst.

Schritt 2: Ein Modell wählen, das in deinen Arbeitsspeicher passt

An diesem Schritt scheitern die meisten. Ein Modell muss beim Laufen in den Arbeitsspeicher deines Rechners passen (RAM, oder VRAM der Grafikkarte), und zwar neben deinem Browser und allem anderen, was offen ist. Jede Modellseite auf ollama.com/search zeigt die Downloadgröße jeder Variante:

Die Modellseite llama3.2 auf ollama.com: Variante 1b mit 1,3 GB, Variante 3b mit 2,0 GB
ollama.com/library/llama3.2: Entscheidend ist die Spalte mit der Größe

Unsere Faustregel: Wähle ein Modell, dessen Downloadgröße deutlich unter der Hälfte deines Arbeitsspeichers liegt. So bleibt Platz für das Betriebssystem und deine anderen Programme. Das sind Startpunkte, keine Benchmarks:

Arbeitsspeicher deines RechnersZuerst ausprobierenDownloadgröße
8 GBllama3.2:3b oder qwen3:4b2,0 GB / 2,5 GB
16 GBqwen3:8b5,2 GB
32 GBqwen3:14b oder gemma4:12b9,3 GB / ca. 8 GB
64 GB oder mehrgemma4:26b oder qwen3:30b16–19 GB / 19 GB

Größen laut den Modellseiten auf ollama.com, Stand 14. November 2026. Ollamas eigener Quickstart nutzt gemma4:e2b (ca. 7,2 GB) und empfiehlt dafür 8 GB freien VRAM bzw. Unified Memory auf dem Mac.

Schritt 3: Modell laden und etwas fragen

Lade das Modell einmal herunter:

bash
ollama pull llama3.2:3b

Dann starte einen Chat im Terminal:

bash
ollama run llama3.2:3b

Tipp eine Frage ein und drück Enter. Mit /bye beendest du den Chat. Unter macOS und Windows kannst du auch im App-Fenster von Ollama chatten.

Jetzt der Beweis. Schalte dein WLAN aus und frag noch einmal. Es antwortet trotzdem, denn nichts muss deinen Laptop verlassen.

Ein paar Befehle, die du oft brauchst:

bash
ollama list              # heruntergeladene Modelle
ollama ps                # gerade geladene Modelle, auf GPU oder CPU
ollama rm llama3.2:3b    # Modell löschen und Speicherplatz freigeben

Zeigt ollama ps den Wert 100% GPU, läuft das Modell komplett auf dem Grafikchip, das ist der schnelle Fall. Ein Anteil CPU heißt: langsamer. Dann probier ein kleineres Modell.

Nur lokal bleiben

Ollama kann auch Cloud-Modelle ausführen, die auf Ollamas Servern statt auf deinem Rechner verarbeitet werden. Sie sind auf ollama.com mit cloud markiert und setzen eine Anmeldung voraus. Wenn es gerade darum geht, dass nichts deinen Laptop verlässt, beschreibt die Dokumentation, wie du die Cloud-Funktionen abschaltest: Umgebungsvariable OLLAMA_NO_CLOUD=1 setzen oder disable_ollama_cloud in ~/.ollama/server.json eintragen.

Schritt 4: Deine Tools auf localhost richten

Solange Ollama läuft, stellt es auf deinem eigenen Rechner eine API unter http://localhost:11434 bereit. Alles, was eine Web-Anfrage senden kann, kann sie nutzen. Ein schneller Test im Terminal:

bash
curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2:3b",
  "messages": [{ "role": "user", "content": "Fasse die DSGVO in einem Satz zusammen." }],
  "stream": false
}'

Viele Tools sprechen bereits das API-Format von OpenAI, und Ollama versteht es ebenfalls. Trag in den Einstellungen des Tools als Basis-URL http://localhost:11434/v1/ ein. Verlangt es einen API-Schlüssel, gib ollama ein: Er ist Pflicht, wird aber ignoriert. In Python mit dem offiziellen Paket openai:

python
from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1/", api_key="ollama")

reply = client.chat.completions.create(
    model="llama3.2:3b",
    messages=[{"role": "user", "content": "Schreib eine freundliche Erinnerungs-E-Mail."}],
)
print(reply.choices[0].message.content)

Bevor echte Kundendaten hineingehen

Ein lokales Modell ändert, wohin die Daten gehen. Ob ein bestimmter Einsatz erlaubt ist, entscheidet es nicht. Das entscheiden dein Unternehmen und die oder der Datenschutzbeauftragte. Diese Fragen lohnen sich:

  1. Welche Arten von Daten dürfen wir mit einem lokalen Modell verarbeiten, und welche gar nicht?
  2. Ist der Laptop selbst geschützt: Festplattenverschlüsselung, Bildschirmsperre, aktuelles System?
  3. Sind die Cloud-Funktionen von Ollama abgeschaltet, damit nichts versehentlich nach außen geht?
  4. Erlaubt die Lizenz des Modells unseren Einsatz?
  5. Wer prüft die Ergebnisse des Modells, bevor sie an Kundschaft gehen oder in eine Entscheidung einfließen?

Wo das in unseren Programmen vorkommt

Modelle lokal zu betreiben ist Teil der Kursinhalte bei Ai School:

Alle Programme finden live online in Vollzeit statt. Ob ein Bildungsgutschein deinen Platz abdeckt, entscheidet die Agentur für Arbeit oder das Jobcenter. So funktioniert die Förderung.

Offizielle Quellen

Ollama entwickelt sich schnell. Wenn ein Befehl hier nicht mehr zur offiziellen Dokumentation passt, gilt die Dokumentation. Geprüft am 14. November 2026. Die verlinkten Quellen sind auf Englisch.