Martin JørgensenOllama – KI-Modelle lokal auf deinem eigenen Computer ausführen
Ollama ist ein kostenloses KI-Tool für Windows, Mac und Linux, mit dem du KI-Modelle direkt auf deinem eigenen Computer herunterladen und lokal ausführen kannst. Das gibt dir deutlich mehr Kontrolle über Modelle, Daten und Datenschutz als ein klassischer KI-Dienst im Browser.
Wir haben Ollama vor allem auf einem Windows 11-Computer getestet, um herauszufinden, ob lokale KI weiterhin hauptsächlich etwas für Entwickler ist – oder ob auch ganz normale, neugierige Nutzerinnen und Nutzer mitmachen können.
Das Erste hat uns tatsächlich etwas überrascht. Ollama ist immer noch technischer als ChatGPT, Claude und Gemini, aber der Einstieg ist deutlich einfacher geworden. Unter Windows und Mac bekommst du heute eine richtige Desktop-App, in der du Modelle herunterladen und mit ihnen chatten kannst – während das Terminal bereitliegt, wenn du tiefer eintauchen möchtest.
Während unseres Tests nutzten wir sowohl die App als auch das Terminal, und die Unterschiede zwischen den Modellen wurden schnell deutlich. Ein kleineres Modell kann sich überraschend schnell anfühlen, während ein großes selbst einen ordentlich ausgestatteten Rechner kräftig auslasten kann.
Genau hier wird Ollama spannend: Du entscheidest selbst, ob du ein kleines, schnelles Modell willst, ein größeres mit besseren Fähigkeiten – oder ob du für Aufgaben, die dein Rechner nicht schafft, Ollamas Cloud-Modelle verwendest.
Was ist Ollama?
Ollama ist im Kern eine Plattform, um sogenannte Large Language Models – LLMs – lokal auszuführen.
Normalerweise läuft die Arbeit hinter Diensten wie ChatGPT in großen Rechenzentren. Du schreibst eine Prompt, sie wird über das Internet gesendet, das Modell verarbeitet sie und die Antwort kommt zurück.
Mit Ollama kann der gesamte Prozess stattdessen auf deinem eigenen Computer stattfinden.
Das bedeutet unter anderem, dass du:
- kompatible KI-Modelle lokal ausführen kannst
- ohne dauerhafte Internetverbindung mit KI chatten kannst
- lokale Dokumente und Dateien nutzen kannst
- zwischen vielen unterschiedlichen KI-Modellen wählen kannst
- andere Programme per API mit Ollama verbinden kannst
- Ollama mit Code-Tools und KI-Agenten verwenden kannst
- deine eigene lokale KI-Lösung aufbauen kannst
Besonders deutlich wurde im Test das Gefühl, das Modell wirklich lokal auf dem eigenen Rechner zu haben – das unterscheidet Ollama spürbar von klassischen KI-Diensten.
Das ist nicht zwangsläufig für jede Aufgabe besser, aber wenn dir Datenschutz, lokale Verarbeitung oder die Freiheit, das Modell selbst zu wählen, wichtig sind, ergibt das Konzept sehr viel Sinn.
So haben wir Ollama unter Windows 11 erlebt
Die Installation unter Windows 11 ist kaum schwieriger als bei einem normalen Windows-Programm.
Nach der Installation läuft der Dienst im Hintergrund, und du kannst sowohl die Desktop-App als auch den Befehl ollama z. B. in Windows Terminal oder PowerShell nutzen. Ollamas lokales API läuft standardmäßig auf Port 11434. Die Windows-Version unterstützt sowohl NVIDIA- als auch AMD-Radeon-Grafikkarten.
Für neue Nutzer würden wir klar in der Desktop-App starten.
Es war einfach leichter zu verstehen, was passiert, wenn man ein Modell laden und direkt loschatten kann, ohne erst Terminalbefehle auswendig zu lernen. Hat man das Prinzip verinnerlicht, ist das Terminal wiederum äußerst sinnvoll.
Ein typischer Befehl kann zum Beispiel so aussehen:
ollama run qwen3:8bLiegt das Modell noch nicht lokal vor, wird es zunächst heruntergeladen.
Und hier fiel uns schnell etwas auf: KI-Modelle brauchen Platz.
Es ist ein wenig wie mit einer Steam-Bibliothek. Beim ersten Download denkt man nicht viel darüber nach – aber nach fünf, sechs Modellen ist plötzlich ein ordentlicher Teil der SSD belegt.
Ollama gibt selbst an, dass die Modellsammlung von Dutzenden bis zu Hunderten Gigabyte anwachsen kann. Der Speicherort lässt sich daher ändern, wenn du auf einem anderen Laufwerk mehr Platz hast.
Ollama-Modelle – welches KI-Modell solltest du wählen?
Eine der größten Stärken von Ollama ist, dass du nicht an ein einziges KI-Modell gebunden bist.
Es gibt Modelle u. a. rund um Qwen, Google Gemma, DeepSeek und OpenAIs Open-Weight-Familie gpt-oss sowie Modelle speziell für Programmierung, Reasoning, Bilder und KI-Agenten. Die Auswahl ändert sich schnell, neue Modelle kommen laufend hinzu.
Das ist großartig – aber auch einer der verwirrendsten Punkte bei Ollama.
Im Test war es sehr verlockend, einfach ein größeres Modell zu wählen, weil es auf dem Papier besser sein sollte. Das ist nicht zwangsläufig die beste Strategie.
Ein kleineres Modell startet schneller, benötigt weniger Speicher und liefert oft deutlich zügigere Antworten. Ein großes Modell kann kompetenter sein, aber wenn der Rechner ständig an Speichermangel leidet, überdeckt die Wartezeit den Intelligenzvorteil schnell.
Unser Rat: Starte kleiner, als du denkst.
Wenn das Modell schnell und stabil läuft, kannst du jederzeit ein größeres ausprobieren.
Wie viel RAM benötigt Ollama?
Es gibt keinen einzigen richtigen RAM-Wert – er hängt stark vom jeweiligen Modell, der Quantisierung und der Länge des Kontexts ab, mit dem du arbeitest.
Als sehr grobe Faustregel würden wir es so sehen:
| RAM | Unsere Einschätzung |
|---|---|
| 8 GB | Vor allem für kleinere Modelle und Experimente interessant. |
| 16 GB | Ein vernünftiger Ausgangspunkt für lokale KI. |
| 32 GB | Deutlich mehr Freiheit, verschiedene Modelle auszuprobieren. |
| 64 GB+ | Spannend für größere Modelle und ernsthafte lokale KI. |
Das sind keine offiziellen Mindestanforderungen, und eine gute GPU kann die Rechnung deutlich verändern.
Bei Apple Silicon wird der Speicher zwischen CPU und GPU geteilt, was neuere Macs für lokale KI interessant macht. Ollama hat 2026 zudem intensiv am MLX-Framework von Apple gearbeitet, um Geschwindigkeit und Speicherausnutzung auf Apple Silicon weiter zu verbessern.
Ollama auf Mac, Windows und Linux
Ollama ist für alle drei großen Desktop-Plattformen verfügbar, die Erfahrung unterscheidet sich jedoch leicht.
Ollama für Windows
Ollama erfordert aktuell Windows 10 22H2 oder neuer. Das Programm wird wie eine normale Windows-Anwendung installiert, läuft im Hintergrund und bietet zugleich Zugriff auf die CLI.
Die Windows-Version kann Modelle mit kompatiblen NVIDIA- und AMD-Radeon-Grafikkarten beschleunigen.
Ollama für Mac
Unter Mac wird macOS Sonoma 14 oder neuer benötigt.
Apple Silicon wird mit CPU- und GPU-Beschleunigung unterstützt, während Intel-Macs auf die CPU beschränkt sind. Das macht vor allem neuere MacBooks und Mac-Desktops mit reichlich Unified Memory interessant für Ollama.
Ollama für Linux
Linux bietet sich an, wenn Ollama als Server, im Homelab oder als Backend für andere Programme genutzt werden soll.
Das ist vielleicht nicht die Konfiguration, mit der komplette Einsteiger beginnen sollten – dafür ist die Flexibilität enorm.
Datenschutz ist eine von Ollamas größten Stärken
Das war einer der Bereiche, die uns im Test am meisten interessiert haben.
Wenn Ollama ein Modell lokal ausführt, geben die Entwickler an, dass sie deine Prompts oder Daten nicht einsehen. Das unterscheidet die lokale Modellausführung von vielen cloudbasierten KI-Diensten.
Ollama bietet heute aber auch Cloud-Funktionen – der Unterschied ist daher wichtig.
Verwendest du ein Cloud-Modell, werden Prompt und Antwort auf externen Servern verarbeitet. Ollama gibt an, dass Inhalte nicht gespeichert oder geloggt und nicht zum Training genutzt werden. Die Cloud-Funktionen lassen sich zudem vollständig deaktivieren, wenn du Ollama strikt lokal betreiben willst.
Letzteres finden wir eine wirklich gute Detailfunktion.
Wenn der Grund für die Installation von Ollama genau die lokale KI ist, kannst du die Cloud-Optionen komplett ausschalten und so das Risiko verringern, versehentlich ein Cloud-Modell zu wählen.
Den gesunden Menschenverstand braucht es dennoch. Ollama kann mit anderen Programmen und Erweiterungen verbunden werden – diese haben natürlich ihre eigenen Regeln für Daten und Datenschutz.
Ollama vs. LM Studio – was ist besser?
Das ist aus unserer Sicht einer der relevantesten Vergleiche.
Sowohl Ollama als auch LM Studio können KI-Modelle lokal herunterladen und ausführen, fühlen sich aber nicht ganz gleich an.
LM Studio ist unserer Meinung nach in den ersten 10 Minuten einfacher. Die Oberfläche orientiert sich stark an der klassischen Desktop-Erfahrung: Modell finden, herunterladen, loslegen.
Ollama erfordert ein wenig mehr Neugier.
Dafür ergab Ollama für uns umso mehr Sinn, je weiter wir gingen. Entdeckt man erst das API, die Terminalbefehle, Docker und die Möglichkeit, Ollama mit anderen KI-Programmen zu verbinden, wird klar, warum es unter Entwicklern so beliebt ist.
| Funktion | Ollama | LM Studio |
|---|---|---|
| Lokale KI | ✅ | ✅ |
| Grafische Benutzeroberfläche | ✅ | ✅ |
| Einfach für Einsteiger | Gut | Sehr gut |
| CLI und Automatisierung | Sehr stark | Gut |
| API | ✅ | ✅ |
| Docker | ✅ | Eher zweitrangig |
| Unsere Wahl für reine lokale Chats | Gut | LM Studio |
| Unsere Wahl für Integrationen | Ollama | Gut |
Wenn dein Ziel nur ist, ein Modell zu laden und lokal damit zu chatten, tendieren wir leicht zu LM Studio.
Wenn du dir hingegen sofort denkst: „Kann ich das mit meinen anderen Programmen verbinden?“, würden wir zu Ollama greifen.
Und natürlich spricht nichts dagegen, beide zu installieren.
Ollama Docker – für Server und Homelabs
Docker ist vermutlich nicht die erste Funktion, die die meisten Leserinnen und Leser von Deutschedownloads.de benötigen – sie zeigt aber sehr gut, was Ollama kann.
Das Programm ist als offizielle Docker-Container erhältlich und kann allein auf der CPU oder mit GPU-Beschleunigung auf kompatiblen NVIDIA- und AMD-Systemen laufen.
Die grundlegende Einrichtung sieht so aus:
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollamaBeim genaueren Blick auf den Docker-Teil wurde auch klar, warum Ollama für Heimserver interessant ist.
Du kannst Ollama beispielsweise auf einem leistungsstarken Rechner laufen lassen und das Modell von anderen Programmen im Netzwerk aus nutzen. Das KI-Modell muss also nicht zwingend auf dem Computer liegen, an dem du gerade sitzt.
So eröffnen sich weit spannendere Möglichkeiten als nur ein weiterer Chatbot.
Das Ollama-API macht das Programm deutlich vielseitiger
Ollamas lokales API ist unserer Meinung nach einer der wichtigsten Gründe für das Programm.
Statt dass Ollama zwingend deine Benutzeroberfläche sein muss, kann ein anderes Programm Fragen an Ollama senden und Antworten vom lokalen Modell empfangen.
Außerdem gibt es Kompatibilität mit Teilen des OpenAI-API, was es leichter macht, bestehende Programme und Entwicklertools mit Ollama zusammenzubringen.
Hier wird aus „netter lokaler Chatbot“ etwas, auf dem man wirklich aufbauen kann.
KI-Agenten und Programmierung stehen stark im Fokus
Ollama entwickelt sich schnell – besonders KI-Agenten und Programmierung sind heute deutlich präsenter als früher.
Mit dem Befehl ollama launch kann Ollama u. a. bei der Einrichtung von Tools wie Claude Code, OpenCode und Codex mit lokalen oder cloudbasierten Modellen helfen. Die Funktion wurde Anfang 2026 eingeführt und nimmt dir einen Teil der zuvor nötigen manuellen Konfiguration ab.
Du brauchst das nicht, um Spaß mit Ollama zu haben.
Aber es zeigt die Richtung: Ollama dreht sich zunehmend nicht nur ums Gespräch mit KI, sondern darum, anderen Programmen Zugriff auf KI-Modelle zu geben.
Ollama entwickelt sich 2026 extrem schnell
Wer Ollama installiert, sollte wissen: Stillstand gibt es hier nicht.
Im August 2026 ist Ollama bei der 0.32‑Serie angekommen, und GitHub‑Releases erscheinen in kurzen Abständen. Neuere Versionen erweitern u. a. die Modellunterstützung, arbeiten weiter mit Qwen‑Modellen und verbessern die Kompatibilität mit OpenAI‑ähnlichen APIs.
Früher im Jahr erhielt Ollama 0.30 eine bessere GGUF‑Kompatibilität über llama.cpp, während die MLX‑Arbeit die Leistung auf Apple Silicon weiter in den Fokus rückte.
Das ist positiv, weil neue KI‑Modelle schnell unterstützt werden.
Der Nachteil: Anleitungen zu Ollama können überraschend schnell veralten. Wenn sich ein Befehl oder Modell nicht mehr wie in einer älteren Anleitung verhält, lohnt sich ein Blick in die aktuelle Dokumentation von Ollama.
Top 5 Tipps zu Ollama
1. Starte mit einem kleineren KI-Modell
Das war einer der wichtigsten Tipps aus unserem Test. Das größte Modell ist auf deinem Computer nicht unbedingt das beste. Ein kleineres Modell startet schneller, benötigt weniger Speicher und liefert in der Praxis oft die bessere Erfahrung. Fang klein an und arbeite dich hoch, wenn dein PC oder Mac Reserven hat.
2. Behalte den SSD-Verbrauch der Modelle im Blick
Modelle sammeln sich überraschend schnell an. Uns erinnerte das fast an eine Steam-Bibliothek: Man probiert nur noch „eins mehr“ – und plötzlich sind viele Gigabyte weg. Hast du wenig Platz, kannst du die Modellbibliothek per OLLAMA_MODELS auf ein anderes Laufwerk verschieben.
3. Prüfe, ob Ollama wirklich deine GPU nutzt
Wenn ein Modell langsamer wirkt als erwartet, gib ollama ps im Terminal ein. Dort siehst du u. a., ob das Modell über CPU oder GPU läuft. Ein simpler Check, der erklärt, warum sich zwei Rechner mit Ollama so unterschiedlich anfühlen können.
4. Setze die Kontextlänge nicht unnötig hoch
Ein größeres Kontextfenster erlaubt dem Modell, mehr Text auf einmal zu verarbeiten, verbraucht aber auch mehr Speicher. Für normale Fragen muss es selten maximal hoch sein. Hebe die Zusatzkapazität für lange Dokumente, Codeprojekte und andere Aufgaben auf, die sie wirklich brauchen.
5. Probiere Ollama mit anderen Programmen
Seine wahre Stärke zeigt Ollama, wenn man über den reinen Chat hinausgeht. Verbinde Ollama mit einer separaten KI-Frontend-App, einem Code-Tool oder einem Programm, das das lokale API von Ollama unterstützt. Dann fühlt es sich wie eine lokale KI-Plattform an – nicht nur wie ein weiterer Chatbot.
FAQ zu Ollama
Ist Ollama kostenlos?
Ja. Ollama kann kostenlos heruntergeladen werden, und lokale KI-Modelle lassen sich auf deinem eigenen Computer ohne Prompt-Gebühren ausführen. Ollama bietet auch Cloud-Funktionen und Bezahlabos, die du jedoch nicht brauchst, wenn du KI nur lokal nutzen möchtest.
Kann man Ollama ohne Internet verwenden?
Ja. Sobald Ollama und das gewünschte KI-Modell heruntergeladen sind, kannst du ein lokales Modell ohne Internetverbindung nutzen. Für neue Modelle oder Ollamas Cloud-Funktionen musst du online sein.
Sendet Ollama meine Prompts ins Internet?
Nicht, wenn du ein lokales Modell verwendest. Dann findet die Verarbeitung auf deinem eigenen Rechner statt. Wählst du stattdessen ein Cloud-Modell, wird die Aufgabe extern bearbeitet. Du kannst die Cloud-Funktionen komplett deaktivieren, wenn du ein rein lokales Setup möchtest.
Funktioniert Ollama unter Windows 11?
Ja. Wir haben Ollama unter Windows 11 getestet, die Installation ist unkompliziert. Ollama unterstützt Windows 10 22H2 und neuer sowie macOS und Linux.
Braucht man eine Grafikkarte für Ollama?
Nein. Ollama kann KI-Modelle auch über die CPU ausführen. Eine kompatible GPU kann die Geschwindigkeit jedoch massiv erhöhen – vor allem bei größeren Modellen.
Wie viel RAM braucht Ollama?
Das hängt vor allem vom gewählten KI-Modell ab. Kleinere Modelle laufen auf recht gewöhnlichen Rechnern, während größere schnell 32, 64 GB RAM oder mehr benötigen. In unserem Test war ein kleineres Modell klar der beste Startpunkt.
Worin unterscheidet sich Ollama von ChatGPT?
ChatGPT ist ein fertiger KI-Dienst, dessen Modelle in der Regel auf den Servern von OpenAI laufen. Ollama ist ein Werkzeug, mit dem du verschiedene KI-Modelle selbst lokal herunterladen und ausführen kannst. Es erfordert etwas mehr Einrichtung, gibt dir aber auch mehr Kontrolle über Modelle und Daten.
Ist Ollama besser als LM Studio?
Kommt darauf an, was du mit lokaler KI machen willst. LM Studio ist etwas leichter, wenn du vor allem ein Modell laden und lokal chatten möchtest. Ollama ist unsere Favorit, wenn du auch mit API, Docker, Automatisierung, Entwicklung oder Integrationen mit anderen KI-Programmen arbeiten willst.
Wo speichert Ollama seine KI-Modelle?
Der Speicherort hängt vom Betriebssystem ab. Wenn die Modelle auf dem Systemlaufwerk zu viel Platz belegen, kannst du ihn mit der Umgebungsvariablen OLLAMA_MODELS ändern und z. B. auf eine größere SSD legen.
Ist Ollama sicher?
Ollama ist Open Source, und lokale Modelle können laufen, ohne deine Prompts an Ollama zu senden. Wir empfehlen, das Programm von der offiziellen Ollama-Website zu beziehen und Lizenz sowie Herkunft der Modelle zu prüfen, die du installierst.
