Lokaler KI-Server für Unternehmen: Preise, Dimensionierung und Bereitstellung
Ein lokaler KI-Server führt Ihre Sprachmodelle in Ihrem eigenen Netzwerk aus: Das gesamte Team nutzt ihn von seinem Arbeitsplatz aus, und Ihre Dokumente werden nicht an einen externen Anbieter übermittelt. Hier erfahren Sie, wie viel er tatsächlich kostet, wie Sie ihn dimensionieren und wie Sie ihn einsetzen.
Die Antwort auf einen Blick
Ein lokaler KI-Server ist eine in Ihren Räumlichkeiten installierte Maschine mit einer oder mehreren Grafikkarten, die ein Sprachmodell (LLM) bereitstellt, auf das Ihre Mitarbeiter über das Netzwerk zugreifen können.
Der Preis hängt in erster Linie vom für Ihre Modelle erforderlichen Grafikspeicher ab: Unser Serverangebot beginnt bei 5.633 € für ein 4U-Rack mit einer 32-GB-Karte und reicht bis zu 48.508 € für ein Rack mit zwei professionellen Karten (192 GB) und bis zu 206.150 € für den EPYC 8 GPU KI-Server. Es handelt sich um einen einmaligen Kauf ohne Abonnementgebühr pro Benutzer.
Was ist ein lokaler KI-Server?
Es ist eine einzelne, für Berechnungen ausgelegte Maschine, die an das Unternehmensnetzwerk angeschlossen ist. Jeder Mitarbeiter greift über seinen Browser darauf zu, mit einer Chat-Oberfläche, die vergleichbar mit der von Cloud-Tools ist. Der Unterschied: Die Anfrage, das angehängte Dokument und die Antwort bleiben in Ihrem Netzwerk.
Konkret vereint der Server drei Komponenten:
- Die Hardware: eine oder mehrere Grafikkarten, deren Speicher (VRAM) das Modell aufnimmt.
- Eine Inferenz-Engine: Ollama, llama.cpp oder vLLM, die das Modell lädt und Anfragen beantwortet.
- Eine Multi-User-Oberfläche: zum Beispiel Open WebUI, mit einem Konto und einem Verlauf pro Person.
Die verwendeten Modelle sind Open Source (Llama, Mistral, Qwen, gpt-oss, DeepSeek …): Sie laden sie einmal herunter, und sie funktionieren danach auch ohne Internetverbindung.
Wie viel kostet ein lokaler KI-Server?
Die Kosten eines GPU-Servers für LLMs setzen sich aus drei Posten zusammen: die Maschine, die Optionen für die Inbetriebnahme und der Stromverbrauch.
1. Die Maschine
Sie macht den Großteil des Budgets aus, und der Grafikspeicher bestimmt den Preis. Hier sind die Preise unserer Basiskonfigurationen:
| Server | KI-Speicher | Format | Basispreis |
|---|---|---|---|
| ASUS Ascent GX10 | 128 GB einheitlicher Speicher (NVIDIA GB10) | Mini-Server für den Schreibtisch | ab 6.999 € |
| CoreIA RTX 5090 | 32 GB (RTX 5090) | Turm | ab 10.291 € |
| CoreIA 2x RTX 5090 | 64 GB (2 × 32 GB) | 4U-Rack | ab 20.954 € |
| KMU-KI-Server EPYC 4005 | 32 GB (Radeon AI PRO R9700) | Turm, Fernwartung (BMC), 2 × 10 GbE | ab 7.813 € |
| CoreIA Threadripper PRO 4 GPU | 96 GB ECC (RTX PRO 6000 Blackwell) | 6U-Rack | ab 32.647 € |
| CoreIA 2x RTX PRO 6000 | 192 GB ECC (2 × 96 GB) | 4U-Rack | ab 48.508 € |
| EPYC 8 GPU KI-Server | 384 GB (4 × RTX PRO 6000 Server Edition) | 4U-Rack | ab 206.150 € |
Preis der Basiskonfiguration inkl. MwSt., automatisch aktualisiert aus unserem Shop. Jede Komponente kann im Konfigurator angepasst werden. Der Rest unseres Angebots für lokale KI im Unternehmen, von Desktop-Workstations bis hin zu Rack-Servern, finden Sie auf einer separaten Seite im Vergleich.
2. Optionen für die Inbetriebnahme
Je nach Ihrer Situation sollten Sie außerdem Folgendes einplanen:
- Das KI-Rundum-sorglos-Paket (optional): installierte Umgebung, zwei sofort einsatzbereite Modelle, sicherer Fernzugang über VPN, Tests vor dem Versand. Für Geräte ab 10.000 € inkl. MwSt.: Enterprise-Paket mit Open WebUI für mehrere Benutzer im Unternehmensnetzwerk.
- Installation vor Ort (optional): Einbindung ins Netzwerk und Inbetriebnahme in Ihren Räumlichkeiten in Frankreich und Europa.
- Rack-Montageschienen für Rack-Server: nicht inbegriffen, auf Anfrage im Angebot ergänzt.
- Garantieverlängerung über die enthaltenen 2 Jahre hinaus und eine USV, falls Ihre Einrichtung noch nicht über eine verfügt.
- Maßgeschneiderte Entwicklung, wenn Sie die KI mit Ihrer Fachanwendung verbinden möchten: auf Anfrage im Angebot.
3. Stromverbrauch
Die Berechnung ist einfach: durchschnittliche Leistungsaufnahme (in kW) × Nutzungsdauer in Stunden × Preis pro kWh. Beispielrechnung, anzupassen: Eine Maschine, die durchschnittlich 0,5 kW verbraucht, 8 Stunden pro Tag an 220 Tagen mit einem Preis von 0,20 € pro kWh, würde 0,5 × 8 × 220 × 0,20 = 176 € pro Jahr kosten. Der tatsächliche Verbrauch hängt von der Konfiguration und Auslastung ab: Wir geben Ihnen diesen Wert im Angebot an.
Lokaler Server oder Cloud-Abonnements: ein Vergleich
Ein Cloud-KI-Abonnement wird pro Benutzer und Monat abgerechnet: in der Regel zwischen 20 und 30 € für gängige professionelle Angebote. Die Ausgaben steigen also mit jeder Neueinstellung. Ein lokaler Server hingegen wird einmal bezahlt, unabhängig von der Anzahl der darauf erstellten Konten.
Geben Sie Ihre eigenen Zahlen ein, um die Kosten zu vergleichen:
Cloud-Abonnements: 3.000 € pro Jahr.
Basispreis des Servers: 10.291 €.
Der Preis des Servers entspricht 42 Monaten dieser Abonnements.
Die Grenzen dieses Vergleichs: Er berücksichtigt weder den Stromverbrauch noch die Optionen oder den Zeitaufwand für die Serveradministration. Umgekehrt berücksichtigt er auch nicht, dass der Server einen Restwert behält und mehrere Jahre genutzt werden kann. Schließlich sind die beiden Lösungen nicht identisch: Ein Abonnement gewährt Zugang zu proprietären Modellen, die Sie nicht selbst hosten können. Der lokale Server rechtfertigt sich in erster Linie durch die Vertraulichkeit, in zweiter Linie durch die Kosten.
Schwanken Sie eher zwischen der Anmietung von GPU-Leistung in der Cloud und dem Kauf? Unser Vergleich zwischen Cloud-GPU-Miete und dem Kauf einer KI-Workstation erläutert diesen Fall.
Wie dimensioniert man einen GPU-Server für LLMs?
Der Grafikspeicher bestimmt die Modellgröße
Ein Modell muss vollständig im Grafikspeicher liegen, um mit voller Geschwindigkeit zu antworten. Bei einer 4-Bit-Quantisierung (eine Kompression, die den Großteil der Qualität erhält) sollten Sie mit etwa 0,6 GB pro Milliarde Parameter rechnen, plus einigen GB für den Kontext.
| KI-Speicher | In 4 Bit nutzbare Modelle | Passender Server |
|---|---|---|
| 32 GB | Bis ca. 32B (Mistral Small 3, Qwen3 32B) | CoreIA RTX 5090, KMU-KI-Server EPYC 4005 |
| 64 GB | 70B (Llama 3.3 70B, ca. 40 bis 45 GB) | CoreIA 2x RTX 5090 |
| 96 GB ECC | 70B in 8 Bit, 110 bis 120B in 4 Bit (gpt-oss-120b, Llama 4 Scout) | CoreIA Threadripper PRO 4 GPU |
| 128 GB einheitlich | Bis zu 200 Milliarden Parameter in 4 Bit, mit langsamerer Generierung als bei einer dedizierten GPU | ASUS Ascent GX10 |
| 192 GB ECC | Qwen3 235B (ca. 130 bis 140 GB) oder mehrere gleichzeitig geladene Modelle | CoreIA 2x RTX PRO 6000 |
| 384 GB (bis zu 8 Karten) | Die größten Open-Source-Modelle | EPYC 8 GPU KI-Server |
Richtwerte für eine gängige 4-Bit-Quantisierung und einen moderaten Kontext.
Die Anzahl der gleichzeitigen Benutzer bestimmt den Spielraum
Bei einem gemeinsam genutzten Server reicht die Modellgröße allein nicht aus. Drei Punkte beeinflussen die Dimensionierung:
- Gleichzeitige Anfragen: Jede laufende Konversation belegt neben dem Modell auch Speicher für ihren Kontext. Daher muss über das Gewicht des Modells hinaus Spielraum vorhanden sein.
- Der Durchsatz: Ein Server, der einer Person schnell antwortet, wird langsamer, wenn mehrere gleichzeitig Anfragen stellen. Die Speicherbandbreite der Grafikkarten bestimmt diesen Durchsatz.
- Die tatsächliche Nutzung: Nicht alle Mitarbeiter schreiben gleichzeitig. Entscheidend ist die Anzahl der Personen, die zum selben Zeitpunkt aktiv sind, und die Länge der von ihnen übermittelten Dokumente.
Unsere Methode: Die auf jedem Datenblatt angegebene Anzahl von Benutzern ist ein Richtwert, da sie je nach Modell und Nutzung variiert. Geben Sie uns Ihre Mitarbeiterzahl, Ihre Dokumenttypen und Ihre Anwendungsfälle (Chat, Suche in Ihren Dokumenten, Programmierung) an: Wir schlagen Ihnen eine passende Konfiguration vor, ohne Überdimensionierung.
Für Details zu Konfigurationen mit mehreren Karten sehen Sie sich unseren Leitfaden über Multi-GPU für lokale KI an. Für eine einzelne Workstation statt eines gemeinsam genutzten Servers lesen Sie unseren Vergleich von PC-Konfigurationen für lokale KI.
Turm, Rack oder Mini-Server?
- Mini-Server (ASUS Ascent GX10): ein Gehäuse mit den Maßen 150 × 150 × 51 mm, unauffällig im Büro. Dank seiner 128 GB lädt er große Modelle, generiert jedoch langsamer als eine dedizierte Grafikkarte. Er läuft unter Linux (DGX OS) und wird ausschließlich über das Netzwerk genutzt.
- Turm (CoreIA RTX 5090, KMU-KI-Server EPYC 4005): das am einfachsten zu installierende Format ohne Technikraum. Sehr schnelle Generierung bei Modellen, die in den Grafikspeicher passen.
- Rack (2U, 4U oder 6U): für ein 19-Zoll-Rack in einem Technikraum. Dies ist das Format für Konfigurationen mit mehreren Karten, die für den Dauerbetrieb ausgelegt sind.
Unsere KI-Server
Die genannten Komponenten stammen aus der Basiskonfiguration. Jede Maschine kann im Konfigurator angepasst werden.
ASUS Ascent GX10 (NVIDIA GB10)
128 GB einheitlicher Speicher · Grace Blackwell · DGX OS
Kompakter und unauffälliger Mini-Server für große Modelle im Büro.
CoreIA RTX 5090
RTX 5090 32 GB · Ryzen 9 9900X · 64 GB DDR5
Server im Turmformat, für Modelle bis ca. 32B.
CoreIA 2x RTX 5090
64 GB VRAM · Ryzen 9 9950X3D · 128 GB DDR5 · 4U-Rack
70B-Modelle in 4 Bit und schnelle Generierung im Rack.
CoreIA Threadripper PRO 4 GPU
RTX PRO 6000 Blackwell 96 GB ECC · Threadripper PRO · ECC-Speicher
Skalierbare Plattform: im Konfigurator bis zu vier Karten verfügbar.
CoreIA 2x RTX PRO 6000
192 GB VRAM ECC · Ryzen 9 9950X3D · 4U-Rack
Sehr große Modelle oder mehrere gleichzeitig bereitgestellte Modelle.
Ein in Frankreich zusammengebauter lokaler KI-Server
Unsere Server werden in Auriol in den Bouches-du-Rhône zusammengebaut und getestet und anschließend in ganz Frankreich und Europa geliefert.
- Ein einziger Ansprechpartner: Das gleiche Team baut die Maschine zusammen, installiert die Software und übernimmt den Support für Hardware und Software.
- Lieferzeit: maximal 15 Werktage für einen KI-Server oder ein GX10, Tests inbegriffen. Für eine sehr hochwertige Konfiguration oder eine maßgeschneiderte Entwicklung kann sich diese verlängern.
- Garantie: 2 Jahre auf alle Geräte, optional mit Garantieverlängerungen.
- Maßgeschneiderte Entwicklung: Automatisierungen, an Ihre Dokumente angebundene Assistenten, mit Ihren Fachanwendungen verbundene Anwendungen. Auf Anfrage im Angebot.
Checkliste für die Bereitstellung
- Individuelle Konten ab der Inbetriebnahme, mit Authentifizierung.
- Zugang beschränkt auf das interne Netzwerk oder über VPN. Der Server wird niemals direkt über das Internet zugänglich gemacht.
- Verschlüsselte Übertragung (HTTPS) zwischen den Arbeitsplätzen und dem Server.
- Regelmäßige Backups von Konversationen und indizierten Dokumenten.
- Auslastungsüberwachung, um eine Kapazitätsgrenze vorherzusehen, bevor sie die Antwortzeiten verlangsamt.
- Geplante Updates der Inferenz-Engine und der Benutzeroberfläche außerhalb der Geschäftszeiten.
- Geeignete USV und Kühlung, insbesondere für einen Rack-Server im Dauerbetrieb.
Ein Projekt für einen lokalen KI-Server?
Beschreiben Sie uns Ihre Nutzeranzahl und Ihre Anwendungsfälle: Wir erstellen Ihnen eine auf Ihren tatsächlichen Bedarf abgestimmte Konfiguration mit einem detaillierten Angebot.
Angebot anforderncontact@radiancesystems.eu
