Ollama einrichten: KI lokal auf dem eigenen Laptop
Warum ein lokales Sprachmodell sinnvoll ist, wenn Daten das Haus nicht verlassen sollen, und wie du Ollama in vier Schritten auf macOS, Windows oder Linux einrichtest. Mit Befehlen aus der offiziellen Dokumentation.

Video von YouTube
Das Video wird von YouTube bereitgestellt. Wie bei jedem eingebetteten YouTube-Video erhält YouTube (Google) dabei die üblichen technischen Daten, etwa deine IP-Adresse.
Warum ein Modell auf dem eigenen Laptop?
Wenn du etwas in einen öffentlichen Chatbot kopierst, verlässt es deinen Rechner und wird auf dem Server eines anderen Unternehmens verarbeitet. Für viele Alltagsaufgaben ist das in Ordnung. Für eine Kundenliste, einen Vertrag oder interne Notizen oft nicht, und im deutschen Arbeitsalltag kommt diese Frage schnell auf.
Ollama ist ein kostenloses Open-Source-Tool, mit dem große Sprachmodelle direkt auf deinem Rechner laufen. Es steht unter MIT-Lizenz und gehört zu den beliebtesten KI-Projekten auf GitHub (186.900 Sterne, Stand 14. November 2026). In Ollamas eigener FAQ heißt es sinngemäß: Wer lokal arbeitet, dessen Prompts und Daten sieht Ollama nicht.
Was du davon hast:
- Deine Daten bleiben auf deinem Gerät. Das Modell läuft auf deinem Laptop, Prompts und Antworten gehen an keinen Anbieter.
- Es funktioniert offline. Ist ein Modell einmal geladen, kannst du das WLAN ausschalten und es antwortet trotzdem.
- Kein API-Schlüssel, keine Kosten pro Anfrage bei lokalen Modellen. Du zahlst mit Speicherplatz, Arbeitsspeicher und Akku.
- Eine lokale Schnittstelle für deine Tools. Skripte, Automatisierungen und Coding-Tools erreichen es unter
localhost:11434.

Bevor du loslegst
Aus den offiziellen Systemanforderungen:
- macOS: Sonoma (14) oder neuer. Auf Apple Silicon (M-Chips) laufen Modelle auf CPU und GPU, auf Intel-Macs nur auf der CPU.
- Windows: Windows 10 22H2 oder neuer, Home oder Pro. Der Installer braucht keine Administratorrechte und installiert in deinen Benutzerordner.
- Linux: amd64 oder ARM64. NVIDIA- und AMD-Grafikkarten werden mit den passenden Treibern unterstützt.
- Speicherplatz: ein paar GB für Ollama selbst, dazu die Modelle. Kleine Modelle haben 1–3 GB, größere mehrere Dutzend GB.
Schritt 1: Ollama installieren
Die Befehle unten stehen genau so auf ollama.com/download. Wähle dein System.
macOS und Linux
Öffne das Terminal und führe aus:
curl -fsSL https://ollama.com/install.sh | shAuf dem Mac kannst du auch auf Download manually klicken, Ollama.dmg öffnen und Ollama in den Programme-Ordner ziehen. Beim ersten Start bietet die App an, den Befehl ollama im Terminal verfügbar zu machen.
Windows
Öffne PowerShell und führe aus:
irm https://ollama.com/install.ps1 | iexLieber ein klassischer Installer? Klick auf Download manually und starte OllamaSetup.exe.
Prüfen, ob es geklappt hat
Öffne ein neues Terminalfenster und führe aus:
ollama -vSiehst du eine Versionsnummer, ist Ollama installiert. Unter macOS und Windows läuft Ollama jetzt im Hintergrund (das Lama-Symbol in der Menüleiste oder Taskleiste) und lädt Updates selbst herunter. Unter Linux aktualisierst du, indem du den Installationsbefehl noch einmal ausführst.
Schritt 2: Ein Modell wählen, das in deinen Arbeitsspeicher passt
An diesem Schritt scheitern die meisten. Ein Modell muss beim Laufen in den Arbeitsspeicher deines Rechners passen (RAM, oder VRAM der Grafikkarte), und zwar neben deinem Browser und allem anderen, was offen ist. Jede Modellseite auf ollama.com/search zeigt die Downloadgröße jeder Variante:

Unsere Faustregel: Wähle ein Modell, dessen Downloadgröße deutlich unter der Hälfte deines Arbeitsspeichers liegt. So bleibt Platz für das Betriebssystem und deine anderen Programme. Das sind Startpunkte, keine Benchmarks:
| Arbeitsspeicher deines Rechners | Zuerst ausprobieren | Downloadgröße |
|---|---|---|
| 8 GB | llama3.2:3b oder qwen3:4b | 2,0 GB / 2,5 GB |
| 16 GB | qwen3:8b | 5,2 GB |
| 32 GB | qwen3:14b oder gemma4:12b | 9,3 GB / ca. 8 GB |
| 64 GB oder mehr | gemma4:26b oder qwen3:30b | 16–19 GB / 19 GB |
Größen laut den Modellseiten auf ollama.com, Stand 14. November 2026. Ollamas eigener Quickstart nutzt gemma4:e2b (ca. 7,2 GB) und empfiehlt dafür 8 GB freien VRAM bzw. Unified Memory auf dem Mac.
Schritt 3: Modell laden und etwas fragen
Lade das Modell einmal herunter:
ollama pull llama3.2:3bDann starte einen Chat im Terminal:
ollama run llama3.2:3bTipp eine Frage ein und drück Enter. Mit /bye beendest du den Chat. Unter macOS und Windows kannst du auch im App-Fenster von Ollama chatten.
Jetzt der Beweis. Schalte dein WLAN aus und frag noch einmal. Es antwortet trotzdem, denn nichts muss deinen Laptop verlassen.
Ein paar Befehle, die du oft brauchst:
ollama list # heruntergeladene Modelle
ollama ps # gerade geladene Modelle, auf GPU oder CPU
ollama rm llama3.2:3b # Modell löschen und Speicherplatz freigebenZeigt ollama ps den Wert 100% GPU, läuft das Modell komplett auf dem Grafikchip, das ist der schnelle Fall. Ein Anteil CPU heißt: langsamer. Dann probier ein kleineres Modell.
Nur lokal bleiben
Ollama kann auch Cloud-Modelle ausführen, die auf Ollamas Servern statt auf deinem Rechner verarbeitet werden. Sie sind auf ollama.com mit cloud markiert und setzen eine Anmeldung voraus. Wenn es gerade darum geht, dass nichts deinen Laptop verlässt, beschreibt die Dokumentation, wie du die Cloud-Funktionen abschaltest: Umgebungsvariable OLLAMA_NO_CLOUD=1 setzen oder disable_ollama_cloud in ~/.ollama/server.json eintragen.
Schritt 4: Deine Tools auf localhost richten
Solange Ollama läuft, stellt es auf deinem eigenen Rechner eine API unter http://localhost:11434 bereit. Alles, was eine Web-Anfrage senden kann, kann sie nutzen. Ein schneller Test im Terminal:
curl http://localhost:11434/api/chat -d '{
"model": "llama3.2:3b",
"messages": [{ "role": "user", "content": "Fasse die DSGVO in einem Satz zusammen." }],
"stream": false
}'Viele Tools sprechen bereits das API-Format von OpenAI, und Ollama versteht es ebenfalls. Trag in den Einstellungen des Tools als Basis-URL http://localhost:11434/v1/ ein. Verlangt es einen API-Schlüssel, gib ollama ein: Er ist Pflicht, wird aber ignoriert. In Python mit dem offiziellen Paket openai:
from openai import OpenAI
client = OpenAI(base_url="http://localhost:11434/v1/", api_key="ollama")
reply = client.chat.completions.create(
model="llama3.2:3b",
messages=[{"role": "user", "content": "Schreib eine freundliche Erinnerungs-E-Mail."}],
)
print(reply.choices[0].message.content)Bevor echte Kundendaten hineingehen
Ein lokales Modell ändert, wohin die Daten gehen. Ob ein bestimmter Einsatz erlaubt ist, entscheidet es nicht. Das entscheiden dein Unternehmen und die oder der Datenschutzbeauftragte. Diese Fragen lohnen sich:
- Welche Arten von Daten dürfen wir mit einem lokalen Modell verarbeiten, und welche gar nicht?
- Ist der Laptop selbst geschützt: Festplattenverschlüsselung, Bildschirmsperre, aktuelles System?
- Sind die Cloud-Funktionen von Ollama abgeschaltet, damit nichts versehentlich nach außen geht?
- Erlaubt die Lizenz des Modells unseren Einsatz?
- Wer prüft die Ergebnisse des Modells, bevor sie an Kundschaft gehen oder in eine Entscheidung einfließen?
Wo das in unseren Programmen vorkommt
Modelle lokal zu betreiben ist Teil der Kursinhalte bei Ai School:
- Im Full-Stack KI & Cloud Engineering Programm und im Programm Fortgeschritten: KI-Systeme & Cloud Engineering behandeln wir Ollama und vLLM in der Cloud-Phase, zusammen mit privatem Deployment. Eine Übung: dieselbe Aufgabe einmal über eine öffentliche API und einmal mit einem lokalen Modell lösen und Geschwindigkeit, Kosten und Datenschutz vergleichen.
- In KI- & Automatisierungs-Kompetenzen für Berufstätige geht es im ersten Modul um sichere KI-Nutzung im Job und DSGVO-Grundlagen: genau die Frage „Was darf in welches Tool?", mit der diese Anleitung beginnt.
Alle Programme finden live online in Vollzeit statt. Ob ein Bildungsgutschein deinen Platz abdeckt, entscheidet die Agentur für Arbeit oder das Jobcenter. So funktioniert die Förderung.
Offizielle Quellen
- Ollama Quickstart
- Download-Seite mit Installationsbefehlen
- Anleitungen je System: macOS, Windows, Linux
- FAQ: Datenschutz, Nur-lokal-Modus, Netzwerkzugriff, Speicherort der Modelle
- OpenAI-Kompatibilität
- ollama/ollama auf GitHub
- Modellbibliothek
Ollama entwickelt sich schnell. Wenn ein Befehl hier nicht mehr zur offiziellen Dokumentation passt, gilt die Dokumentation. Geprüft am 14. November 2026. Die verlinkten Quellen sind auf Englisch.