PC für Ollama 2026: Welche Hardware benötigen Sie, um Ihre LLMs lokal auszuführen?
Ollama ist im Jahr 2026 zum Standard-Tool für die lokale Ausführung von LLMs geworden — ein einziger Befehl zum Herunterladen eines Modells, eine OpenAI-kompatible API auf localhost:11434 und die Möglichkeit, Llama 4, Qwen 3.5, DeepSeek V4 oder Gemma 4 direkt auf dem eigenen Rechner auszuführen. Aber welcher PC ist erforderlich, um wirklich nutzbare Leistung zu erzielen? Dieser Leitfaden beantwortet die Frage präzise, anhand realer Benchmarks und getesteter Hardware-Empfehlungen.
Was ist Ollama und warum nutzen es 2026 alle?
Ollama ist eine Open-Source-LLM-Laufzeitumgebung, die KI-Modelle lokal herunterlädt, ausführt und bereitstellt — vollständig auf Ihrem Rechner, ohne jegliche Cloud-Verbindung. Ihre Verbreitung ist 2026 aus drei Gründen explodiert:
- Ein einziger Befehl zum Starten. Keine komplexe Konfiguration, kein Management von Gewichten, keine Quantisierung und keine Laufzeitumgebung zum Kompilieren.
-
OpenAI-kompatible API. Jede für ChatGPT entwickelte Anwendung kann auf Ollama umgestellt werden, indem lediglich die URL geändert wird —
localhost:11434stattapi.openai.com. -
Bibliothek mit über 500 Modellen. Llama 4 Scout, Qwen 3.5, DeepSeek V4, Gemma 4, Mistral, Phi-4, Qwen2.5-Coder — alle mit einem einzigen Befehl
ollama pullverfügbar.
Die Installation besteht aus einer einzigen Zeile:
curl -fsSL https://ollama.com/install.sh | sh ollama pull qwen3:14b ollama run qwen3:14b
In weniger als 5 Minuten haben Sie ein funktionsfähiges lokales LLM — zugänglich über Ihren Browser (via Open WebUI), Ihren Code-Editor oder jede beliebige Anwendung über die REST-API.
Der kritische Faktor für Ollama: VRAM
Ollama lädt die Modellgewichte in den GPU-Speicher. Wenn alles in den VRAM passt, erhalten Sie 40 bis 70 Token/Sekunde auf einer RTX 5060 Ti mit 16 GB. Wenn das Modell in den Systemspeicher (RAM) auslagert, bricht die Leistung ein:
Fazit: Es ist besser, ein kleineres Modell zu wählen, das vollständig in den VRAM passt, als ein großes Modell, das in den RAM auslagert. Ein Qwen 3.5 14B mit 60 tok/s ist nützlicher als ein Llama 3.3 70B, das mit 4 tok/s kriecht.
Benötigter VRAM je nach Ollama-Modell (Q4_K_M, Mai 2026)
| GPU-VRAM | Kompatible Modelle | Beispiele 2026 | Ungefähre Geschwindigkeit |
|---|---|---|---|
| 5-8 GB | Bis zu 9B | Llama 3.1 8B, DeepSeek-R2 8B, Qwen3 8B, Gemma 3 4B | 40-90 tok/s |
| 12 GB | Bis zu 17B MoE | Llama 4 Scout 17B, Gemma 3 12B | 30-50 tok/s |
| 16 GB ⭐ Sweet Spot | 13B-14B Dense / 17B MoE | Qwen 3.5 14B, Mistral Medium 3.5, Phi-4 14B | 40-70 tok/s |
| 20 GB | Bis zu 32B | Qwen2.5-Coder 32B, DeepSeek-R1 32B | 25-40 tok/s |
| 24 GB | Bis zu 27B bequem | Gemma 4 26B QAT (ca. 85 tok/s) | 30-60 tok/s |
| 32 GB (RTX 5090) | Bis zu 30B in 8-Bit | Gemma 4 26B QAT | 15-30 tok/s |
| 48 GB+ (Multi-GPU) | 70B FP16 oder Q5/Q6 | Llama 3.3 70B FP16 mit 32K-Kontext | 10-20 tok/s |
| 128 GB Unified (GB10) | Modelle bis zu 200B in 4-Bit | DeepSeek V4 Flash, Llama 4 Scout | 20-40 tok/s |
Quellen: Reale Ollama-Benchmarks von Morph (April 2026), glukhov.org (RTX 4080 16 GB, März 2026), LocalAIMaster (März 2026). VRAM gemessen bei 8K-19K Kontext mit Q4_K_M-Quantisierung. Die tatsächlichen Werte variieren je nach geladenem Kontext.
Die besten Ollama-Modelle im Mai 2026 nach Kategorie
| Kategorie | Empfohlenes Modell | Ollama-Befehl | VRAM |
|---|---|---|---|
| Allgemeiner Allrounder | Llama 4 Scout 17B | ollama pull llama4:scout |
~10 GB |
| Deutsch / Mehrsprachig | Qwen 3.5 14B | ollama pull qwen3.5:14b |
~10 GB |
| Reine Geschwindigkeit (85 tok/s) | Gemma 4 26B QAT | ollama pull gemma4:26b |
~14 GB |
| Code ⭐ #1 Open Source | Qwen2.5-Coder 32B | ollama pull qwen2.5-coder:32b |
~20 GB |
| Mathematik/Logik-Reasoning | DeepSeek-R2 8B | ollama pull deepseek-r2:8b |
~5 GB |
| MINT / strukturierte Analyse | Phi-4 14B (80,4 % MATH) | ollama pull phi4 |
~10 GB |
| Klein / leicht | Llama 3.1 8B (111M+ Downloads) | ollama pull llama3.1:8b |
~5 GB |
| Maximale Qualität | Llama 3.3 70B (86,0 MMLU) | ollama pull llama3.3:70b |
~40 GB |
Jenseits der GPU: Was für Ollama ebenfalls wichtig ist
Systemspeicher (DDR5 >> DDR4)
Wenn Ihr Modell in den Systemspeicher auslagert, hängt seine Geschwindigkeit direkt von der Speicherbandbreite ab. DDR5-6000 bietet im CPU-Offloading-Modus 15-25 % mehr Leistung als DDR4-3200. Für Ollama sollten Sie mindestens 32 GB DDR5 auf einer AM5-Plattform bevorzugen.
Schnelle NVMe-SSD
Ollama-Modelle wiegen zwischen 5 GB (Llama 3.1 8B) und 40 GB (Llama 3.3 70B). Eine NVMe-SSD Gen 4 lädt ein 14B-Modell beim ersten ollama run in 5-8 Sekunden. Bei einer SATA-SSD müssen Sie mit 30-60 Sekunden rechnen.
CPU und Threads
Für reine GPU-Inferenz spielt die CPU kaum eine Rolle. Sobald jedoch CPU-Offloading oder RAG (Retrieval Augmented Generation) zum Einsatz kommen, macht ein Ryzen 7 oder 9 mit 12-16 Kernen den Unterschied. AVX-512 (Intel 12. Gen+, AMD Zen 4+) beschleunigt die CPU-Inferenz um 10-20 %.
Wichtige Ollama-Befehle
# Ollama installieren (Linux/macOS) curl -fsSL https://ollama.com/install.sh | sh # Modell herunterladen und ausführen ollama pull qwen3.5:14b ollama run qwen3.5:14b # Installierte Modelle auflisten ollama list # Modell stoppen (VRAM freigeben) ollama stop qwen3.5:14b # GPU-/CPU-Auslastung anzeigen OLLAMA_DEBUG=1 ollama run llama3.1:8b "test" 2>&1 | grep "layers" # Eine genaue Anzahl an GPU-Layern erzwingen ollama run llama3.1:8b --gpu-layers 28
Häufige Fehler, die Sie vermeiden sollten
- Q2_K wählen, um ein großes Modell unterzubringen — starke Qualitätsminderung. Ein 34B-Modell in Q6_K ist besser als ein 70B-Modell in Q2_K.
- KV-Cache ignorieren — ein 8B-Modell mit 32K Kontext benötigt zusätzlich ~4,5 GB für den Attention-Cache. Lassen Sie 2-4 GB VRAM-Puffer frei.
-
Mehrere Modelle gleichzeitig laden — Ollama behält sie standardmäßig im VRAM. Verwenden Sie
ollama stop, um Speicher freizugeben. - RAM unterschätzen — mindestens 32 GB DDR5 für ernsthaften Einsatz. 64 GB für 30B+-Modelle mit CPU-Offloading.
Unsere für Ollama optimierten PCs — auf Wunsch mit Ollama + Open WebUI vorinstalliert
Radiance Systems entwickelt dedizierte Workstations für lokale LLM-Inferenz. Jede Maschine wird auf Wunsch mit vorinstalliertem und vorkonfiguriertem Ollama und Open WebUI geliefert, inklusive bereits heruntergeladener Modelle Ihrer Wahl. Sie starten Ihren PC und chatten in weniger als 2 Minuten mit Ihrer KI. Um die für Ollama geeigneten Konfigurationen zu vergleichen, besuchen Sie unser Sortiment an lokalen KI-Workstations und -Servern. Für Teams sehen Sie sich auch die Preise für einen lokalen KI-Server an.
CoreIA GB10 (ASUS Ascent GX10)
✅ Llama 4 Scout · DeepSeek V4 Flash · Modelle bis zu 200 Milliarden Parametern in 4-Bit
Das kompakteste Format, das Modelle ausführen kann, die selbst eine RTX 5090 nicht vollständig im VRAM halten kann. 128 GB Unified-Speicher, GPU und CPU über NVLink-C2C mit 900 GB/s vereint. Ideal für Kanzleien, die maximale Kapazität in einem ultra-kompakten und leisen Format benötigen.
Lieferbereit · DGX OS · Natives Ollama
Diese Workstation konfigurieren →
CoreIA RTX 5060 Ti
✅ Qwen 3.5 14B · Mistral Medium 3.5 · Llama 4 Scout 17B · Phi-4 14B
Geschwindigkeit, Größenordnung: 40-70 Token/Sekunde
Der Sweet Spot 2026 für Ollama. 16 GB GDDR7, um 14B-Modelle vollständig auf der GPU ohne CPU-Offloading auszuführen. AM5-Plattform mit DDR5 für RAG-Pipelines. Idealer Einstieg für Freiberufler.
Ollama + Open WebUI auf Wunsch vorinstalliert · RAM über Konfigurator erweiterbar (32 GB empfohlen)
Diese Workstation konfigurieren →
CoreIA Radeon AI PRO R9700
✅ Qwen2.5-Coder 32B (92,7 % HumanEval) · Gemma 4 26B · DeepSeek-R1 32B
Für anspruchsvolle Entwickler und Profis. 32 GB VRAM, ideal für 27B-32B-Modelle. AMD-Karte: Ollama läuft über ROCm, ohne CUDA. Der Ryzen 9 9900X bewältigt RAG-Pipelines und n8n-Orchestrierung parallel.
Modelle auf Wunsch vorab heruntergeladen (Qwen3.5, Mistral, DeepSeek)
Diese Workstation konfigurieren →
CoreIA RTX 5090
✅ Gemma 4 26B QAT · Llama 4 Scout 17B · Qwen 3.5 14B · Modelle bis zu 30 Milliarden Parametern in 8-Bit
Die beste Consumer-GPU für Ollama im Jahr 2026. 1 792 GB/s Speicherbandbreite — Rekord auf dem Verbrauchermarkt. 30-Milliarden-Parameter-Modelle in 8-Bit vollständig auf der GPU.
Leichtes Fine-Tuning möglich · LoRA-kompatibel
Diese Workstation konfigurieren →
CoreIA 2x RTX 5090 (64 GB VRAM)
✅ Llama 3.3 70B in 8-Bit · Qwen 3.5 72B Q4 · Gleichzeitige Multi-GPU-Inferenz
Für Teams mit 20 bis 30 Benutzern, die einen Ollama-Server teilen. Gleichzeitige Inferenz auf zwei unabhängigen GPUs — jeder Benutzer hat seinen eigenen Stream. Ideal für Kanzleien mit mehreren Mitarbeitern.
Maßgeschneidert · 4-HE-Rack · Multi-Tenant-Ollama-Server
Dieses Rack konfigurieren →
CoreIA 2x RTX PRO 6000 (192 GB ECC)
✅ Modelle mit bis zu 180 Milliarden Parametern in 8 Bit · Fine-Tuning 70B+ · Produktion 24/7
Professionelle GPUs mit ECC-Speicher für den kontinuierlichen Betrieb. 192 GB ECC-VRAM ermöglichen die Ausführung sehr großer Open-Source-Modelle (bis zu 180 Milliarden Parameter in 8 Bit). Maximale Zuverlässigkeit für kritische Umgebungen.
Vor-Ort-Installation möglich · Dedizierter Support
Dieses Rack konfigurieren →
CoreIA Threadripper PRO 4 GPU
✅ Verteiltes Training · Massive RAG-Pipelines · HPC · Intensives Fine-Tuning
Die ultimative Workstation für anspruchsvolle Produktionsumgebungen. Threadripper PRO sTR5-Plattform, erweiterbar auf bis zu 96 Kerne und 2 TB ECC-RAM. Für gemischte Workloads: Ollama + Vektordatenbanken + n8n-Orchestrierung + Training.
Maßgeschneidert · Individuelles Angebot · Vor-Ort-Installation
Angebot anfordern →Welcher PC ist für Ollama passend für Ihr Profil?
| Profil | Konfiguration | Ollama-Modelltyp | Budget |
|---|---|---|---|
| Einführung / geringer persönlicher Einsatz | RTX 5060 Ti 16 GB (CoreIA RTX 5060 Ti) | Qwen 3.5 14B, Llama 4 Scout | ab 2.068 € |
| Kompaktes Büro-Gehäuse ⭐ | CoreIA GB10 (ASUS Ascent GX10) | DeepSeek V4 Flash, bis zu 200B in 4 Bit | ab 6.999 € |
| Entwickler (Inferenz und Code) | CoreIA Radeon AI PRO R9700 | Qwen2.5-Coder 32B, DeepSeek-R1 32B | ab 4.162 € |
| 30B-Modelle in 8 Bit | CoreIA RTX 5090 | Gemma 4 26B QAT | ab 10.291 € |
| Team mit 20-30 geteilten Nutzern | CoreIA 2x RTX 5090 | Llama 3.3 70B 8 Bit, Multi-Tenant | ab 20.954 € |
| Kritische Produktion 24/7 | CoreIA 2x RTX PRO 6000 | Bis zu 180 Milliarden in 8 Bit | ab 48.508 € |
Ollama-Anwendungsfälle nach Berufsgruppe
- Anwälte & Notare — Qwen 3.5 14B + Open WebUI: Vertragsanalyse, Suche in Kundendossiers, Erstellung von Urkunden. Alles lokal: Lokale KI erleichtert die Einhaltung der DSGVO und des Berufsgeheimnisses.
- Ärzte & Kliniken — Mistral Medium 3.5 + RAG: Diktate von Arztberichten, Analyse von Patientengeschichten, medizinische Wissensdatenbank. Keine Daten erreichen einen Cloud-Server.
- Steuerberater — DeepSeek-R2 8B + Phi-4 14B: Bilanzanalyse, Erkennung von Unregelmäßigkeiten, Erstellung von Berichten. Vertrauliche Zahlen werden nirgendwo anders hochgeladen.
- Entwickler — Qwen2.5-Coder 32B + Ollama-API: Code-Vervollständigung in VS Code/Cursor, Debugging, Refactoring. OpenAI-kompatible API, Integration in 3 Zeilen.
- KMU & Unternehmen — Llama 4 Scout + n8n + Vektordatenbank: interner KI-Assistent, verbunden mit Ihren Dokumenten, Verfahrensanweisungen und Ihrem CRM. Bereitstellung im privaten Netzwerk.
Häufige Fragen — PC für Ollama
Welche GPU ist das Minimum für Ollama?
8 GB VRAM (RTX 4060, RTX 5060) reichen für 7B-8B-Modelle wie Llama 3.1 8B oder DeepSeek-R2 8B. Aber der Sweet Spot 2026 sind 16 GB VRAM (RTX 5060 Ti 16 GB oder RTX 5070 Ti) — damit erhalten Sie Zugang zu 13B-14B- und 17B-MoE-Modellen wie Qwen 3.5 14B, Mistral Medium 3.5 oder Llama 4 Scout, die eine deutlich höhere Qualität bieten, während der GPU-Preis nur um 200-400 € höher liegt.
Funktioniert Ollama ohne dedizierte GPU?
Ja, Ollama kann ausschließlich auf der CPU laufen. Aber die Geschwindigkeit sinkt bei einem 7B-Modell auf einer modernen CPU auf 3-8 Token pro Sekunde — frustrierend für den interaktiven Einsatz. Eine GPU mit 8 GB+ VRAM wird für ein flüssiges Erlebnis (30+ Tok/s) dringend empfohlen.
Wie erkenne ich, ob mein Modell in den VRAM passt?
Führen Sie OLLAMA_DEBUG=1 ollama run [Modell] "test" aus — die Logs zeigen an, wie viele Layer auf der GPU vs. CPU geladen sind. Wenn weniger als 100 % auf der GPU sind, ist Ihr Modell zu groß. Wählen Sie eine niedrigere Quantisierung (mindestens Q4_K_M) oder ein kleineres Modell.
Braucht man Windows oder Linux für Ollama?
Beide funktionieren sehr gut. Linux (Ubuntu) bietet die beste rohe Leistung und optimale CUDA-Unterstützung. Windows 11 vereinfacht die tägliche Nutzung und ist für Entwickler mit WSL2 kompatibel. Unsere Workstations werden mit dem Betriebssystem Ihrer Wahl geliefert. Die CoreIA GB10 wird mit DGX OS geliefert.
Welche Oberfläche sollte man mit Ollama verwenden?
Open WebUI ist die beliebteste Web-Oberfläche 2026 — ChatGPT-ähnlich, über Docker bereitstellbar, native Verwaltung von Dokumenten-RAG. LM Studio bietet eine Desktop-Alternative mit integrierter GUI. Unsere Radiance-PCs können je nach Wunsch mit einer der beiden vorinstalliert geliefert werden.
Kann man auf diesen Ollama-PCs Fine-Tuning durchführen?
LoRA-Fine-Tuning (parameter-effizient) ist ab 16 GB VRAM für 7B-8B-Modelle möglich. Für ernsthaftes Fine-Tuning von 14B-32B-Modellen sind 24 GB+ und CUDA erforderlich (CoreIA RTX 5090 oder höher; die CoreIA Radeon AI PRO R9700 verfügt nicht über CUDA). Für 70B+-Modelle sollten Sie mit 48 GB+ und Multi-GPU rechnen.
