Wie viel VRAM für ein lokales LLM im Jahr 2026? Der modellbasierte Leitfaden
Der VRAM entscheidet über alles.
So berechnen Sie ihn.
Modellgröße, Quantisierung, Kontextlänge: drei Variablen, ein Ergebnis. Schätzen Sie Ihren Bedarf unten ein.
Das ist die Frage, die vor jedem Kauf eines KI-Rechners gestellt wird. Und die übliche Antwort, ein einziger Wert pro Modell, ist fast immer falsch, weil sie nur die Gewichte berücksichtigt.
Schätzen Sie Ihren Bedarf
Ihre Konfiguration
Geschätzter VRAM
Indikative Schätzung. Der tatsächliche Speicherbedarf variiert je nach Inferenz-Engine, Modellarchitektur, Quantisierungsmethode und aktivierten Optimierungsoptionen. Betrachten Sie dieses Ergebnis als Größenordnung zur Orientierung, nicht als genaue Messung.
Die drei Regeln, die Sie kennen sollten
1. Die Gewichte sind die Untergrenze, niemals der Gesamtwert
Der Wert, den Sie überall lesen, entspricht dem geladenen Modell vor der ersten Anfrage. Der Kontext-Cache, die Ausführungspuffer und die multimodalen Komponenten kommen zusätzlich hinzu.
2. Kontext ist teuer, und das sagt niemand
Der Cache wächst mit jedem verarbeiteten Token. Bei einem langen Kontextfenster kann er allein den Speicherbedarf verdoppeln. Deshalb startet ein Modell zwar problemlos, läuft aber nach zwanzig Interaktionen voll.
3. Der VRAM bestimmt die Größe, die Bandbreite bestimmt die Geschwindigkeit
Zwei unterschiedliche Parameter. Der VRAM sagt aus, ob das Modell passt. Die Speicherdurchsatzrate sagt aus, mit welcher Geschwindigkeit es antwortet. Wenn ein Modell in den System-RAM auslagert, fällt die Geschwindigkeit auf wenige Tokens pro Sekunde ab. Deshalb bevorzugen wir bei unseren KI-Workstations und -Servern Karten, die viel Grafikspeicher mit hoher Bandbreite kombinieren.
Referenzübersicht pro Modell
Werte nur für die Gewichte bei kurzem Kontext. Fügen Sie den Cache entsprechend Ihrem Einsatz hinzu.
| Modell | Typ | 4-bit | 8-bit | 16-bit | Empfohlene Karte |
|---|---|---|---|---|---|
| Gemma 4 12B | Dense, multimodal | ~6,6 GB | ~13 GB | ~24 GB | 16 GB |
| Qwen 3.8-27B | Dense, Vision | ~17 GB | ~27 GB | ~55 GB | 32 GB |
| Qwen 3.6-27B | Dense | ~17 GB | ~30 GB | ~54 GB | 24 bis 32 GB |
| Qwen 3.6-35B-A3B | MoE (3B aktiv) | ~21 GB | ~38 GB | ~70 GB | 24 bis 32 GB |
| Hermes 4.3 36B | Dense, Agent | ~21 GB | ~40 GB | ~72 GB | 32 GB |
| Modell 70B | Dense | ~40 GB | ~75 GB | ~140 GB | 48 GB und mehr |
| Whisper large-v3 | Transkription | nicht zutreffend | ~3 GB | ~6 GB | 8 GB |
| KI-Videomodelle | Generierung | nicht zutreffend | 16 bis 24 GB | 50 GB und mehr | 32 GB |
Was Sie auf jeder Stufe tun können
Drei Hebel, um weniger VRAM zu benötigen
Den Kontext-Cache quantisieren. Das ist die rentabelste Maßnahme. Sie reduziert den Speicherbedarf des Kontexts oft um die Hälfte, bei minimalem Einfluss auf die Qualität. So passt ein langes Kontextfenster dorthin, wo die Standardkonfiguration voll läuft.
Eine moderne Quantisierung wählen. Neuere Formate bieten bei gleicher Größe eine deutlich höhere Qualität als Quantisierungen der ersten Generation. Bei 4-bit ist der Unterschied zur nativen Präzision heute bei den meisten Anwendungen gering.
Das Kontextfenster auf das Nötigste reduzieren. Nur wenige Anwendungen benötigen wirklich 256.000 Tokens. Das Fenster auf das erforderliche Maß festzulegen, setzt viel Speicher frei und beschleunigt oft die Verarbeitung.
Unsere Rechner pro VRAM-Stufe
Alle von Hand in Auriol (13390) montiert, außer GB10, das von ASUS montiert wird, vollständig konfigurierbar über den Online-Konfigurator oder auf Anfrage an contact@radiancesystems.eu.
CoreIA RTX 5060 Ti: 16 GB VRAM12B-Modelle in hoher Qualität, 14B in 8-bit.
2.068 €
CoreIA Radeon AI PRO R9700: 32 GB VRAMAMD-Karte ohne CUDA (ROCm oder Vulkan): sehr gut für Text, 30B-Modelle in 8-bit.
4.162 €
CoreIA RTX 5090: 32 GB VRAM1.792 GB/s. Langer Kontext, Agenten, Vision, KI-Video.
10.291 €
CoreIA GB10, 128 GB vereintSehr große Modelle, massiver Kontext, mehrere KI-Komponenten.
6.999 €
CoreIA 2x RTX 5090: 64 GB VRAMZwei Karten: 70B-Modelle in 4-bit, parallele Sitzungen.
20.954 €
CoreIA Threadripper PRO 4 GPU, 96 GB VRAM ECC70B-Modelle mit ausreichend Spielraum, native Präzision, Fine-Tuning.
32.647 €
CoreIA 2x RTX PRO 6000, 192 GB VRAM ECCKontinuierliche Produktion, Training, viele Benutzer.
48.508 €
Kurz zusammengefasst
Wie viel VRAM braucht ein lokales LLM im Jahr 2026?
16 GB decken eine anspruchsvolle Einzelanwendung mit 14-Milliarden-Parameter-Modellen in 8-bit ab. 32 GB stellen die professionelle Stufe dar: langer Kontext, Agenten, Vision. Bei mehr als 70 Milliarden Parametern sollten Sie mit 48 GB und mehr rechnen.
Warum werden die angegebenen Werte oft unterschätzt?
Weil sie nur die Gewichte des Modells berücksichtigen. Der Kontext-Cache kommt hinzu und wächst mit der Länge der Interaktionen und der Anzahl der Sitzungen.
Kann man ein Modell ausführen, das größer ist als der VRAM?
Technisch ja, indem man in den System-RAM auslagert, aber die Geschwindigkeit fällt auf wenige Tokens pro Sekunde ab. In der Praxis ist das für eine interaktive Nutzung unbrauchbar.
Verschlechtert die Quantisierung die Qualität stark?
Viel weniger als früher. Bei 4-bit mit den neuesten Formaten ist der Unterschied zur nativen Präzision bei den meisten gängigen Anwendungen gering. Der Verlust wird bei den anspruchsvollsten Denkaufgaben spürbar.
Sollte man den VRAM oder die Geschwindigkeit der Karte bevorzugen?
Zuerst den VRAM: Ohne ihn läuft das Modell überhaupt nicht. Dann die Bandbreite, denn sie bestimmt den Nutzungskomfort, sobald das Modell geladen ist.
Die Werte dieses Leitfadens sind Größenordnungen, die aus Rückmeldungen des Ökosystems und öffentlichen Dokumentationen stammen. Sie variieren je nach Modellarchitektur, Inferenz-Engine, Quantisierungsmethode und aktivierten Optimierungen. Für eine genaue Dimensionierung, die auf Ihre Nutzung zugeschnitten ist, kontaktieren Sie uns.
