PC für Machine-Learning-Ingenieure: Training, Fine-Tuning, Forschung
Ein Machine-Learning-Ingenieur hat andere Anforderungen als ein Nutzer, der lediglich mit einem Modell chatten möchte. Modelle von Grund auf zu trainieren, zu verfeinern, zu experimentieren und große Datensätze zu verarbeiten, stellt völlig andere Anforderungen an die Hardware als die reine Inferenz. Die falsche Maschine zu kaufen, bedeutet, bei jedem Experimentationszyklus Stunden zu verlieren.
Dieser Leitfaden orientiert sich an den realen Workflows eines ML-Ingenieurs, leitet daraus ab, welche Leistung die Hardware erbringen muss, und stellt die passenden Workstations für jede Art von Arbeitslast vor – vom Entwicklungsrechner bis zur Multi-GPU-Trainingsstation.
Was ein ML-Ingenieur wirklich macht und was dafür erforderlich ist
Modelltraining
Erfordert: VRAM, Rechenleistung, langfristige Stabilität
Das Training von Grund auf oder die Fortsetzung eines Vorabtrainings beansprucht die GPU voll aus, manchmal über Tage hinweg. Der VRAM begrenzt die Größe des Modells und des Batches. Bei langen Trainingsläufen wird die Stabilität zum kritischen Faktor.
Entraîner depuis zéro ou continuer un pré-entraînement sollicite le GPU à fond, parfois pendant des jours. La VRAM limite la taille du modèle et du batch. La stabilité devient critique sur les longs runs.
Fine-Tuning (LoRA, QLoRA, Full)
Erfordert: VRAM, Iterationsgeschwindigkeit
Der häufigste Fall in der Praxis. LoRA und QLoRA reduzieren den Bedarf, aber ein ernsthaftes Fine-Tuning erfordert je nach Größe des Basismodells 24 GB oder mehr.
Inferenz und Evaluierung
Erfordert: VRAM, Bandbreite
Modelle testen, Varianten vergleichen, eine lokale API bereitstellen. Weniger anspruchsvoll als das Training, aber der VRAM bleibt der entscheidende Faktor für die Modellgröße.
Datenaufbereitung
Erfordert: CPU, RAM, schnellen Speicher
Bereinigung, Tokenisierung, Augmentierung, Laden. Dieser oft unterschätzte Schritt wird durch die CPU, den RAM und die Speicherdurchsatzrate begrenzt, nicht durch die GPU.
Die Komponenten, die wirklich zählen
- An erster Stelle: der VRAM. Er bestimmt die Größe der Modelle, die Sie trainieren und verfeinern können. 24 GB sind ein komfortabler Schwellenwert, 32 GB eröffnen den Zugang zu ernsthaften Modellen, 96 GB ECC sind für Forschung und große Modelle vorgesehen.
- ECC-Speicher für lange Trainingsläufe. Bei einem mehrtägigen Training kann ein unbemerkter Speicherfehler einen gesamten Lauf korrumpieren. VRAM mit ECC (RTX PRO 6000 Blackwell-Karten) schützt kritische Berechnungen.
- CPU und RAM für die Datenpipeline. Eine leistungsstarke GPU, die durch langsames Laden von Daten ausgebremst wird, läuft ungenutzt. Viele Kerne und viel RAM versorgen die GPU ohne Engpässe.
- Schneller NVMe-Speicher. Große Datensätze und Checkpoints erfordern hohe Durchsatzraten. NVMe Gen 4 oder Gen 5 verhindern, dass die Festplatte zum limitierenden Faktor wird.
- Multi-GPU für Skalierbarkeit. Zwei Karten ermöglichen paralleles Training, die Verarbeitung größerer Modelle oder das gleichzeitige Ausführen mehrerer Experimente.
Wie viel VRAM für welche ML-Aufgabe?
| Aufgabe | Empfohlener VRAM | Typische Karte | Anmerkung |
|---|---|---|---|
| Lernen, Prototyping, kleine Modelle | 16 GB | RTX 5070 Ti | Ideal für den Einstieg und die Entwicklung |
| LoRA/QLoRA Fine-Tuning (bis zu 14B) | 24 bis 32 GB | RTX 5090 32 GB | Der professionelle Ausgleichspunkt |
| Multi-Experiment-Training, mittelgroße Modelle | 2 × 32 GB | 2 × RTX 5090 | Paralleles Training, mehrere Läufe |
| Intensives Fine-Tuning, große Modelle, lange Läufe | 96 GB ECC | RTX PRO 6000 Blackwell | ECC für Zuverlässigkeit |
| Forschung, Full Fine-Tuning, F&E | 192 GB ECC | 2 × RTX PRO 6000 Blackwell | Oberklasse mit zwei Karten |
| Prototyping sehr großer Modelle | 128 GB Unified | NVIDIA GB10 | Einheitlicher Speicher, kompaktes Format |
Eine lokale Umgebung, bereit zum Programmieren
Unsere Workstations werden auf Wunsch mit dem Standard-ML-Ökosystem vorinstalliert geliefert, damit Sie direkt nach dem Auspacken mit dem Programmieren beginnen können, anstatt Stunden mit der Einstellung von CUDA-Versionen zu verbringen.
# Typische Umgebung, auf Wunsch vorinstalliert # PyTorch mit CUDA 12.8 (Blackwell RTX 50xx / RTX 6000-Karten) pip install torch torchvision torchaudio \ --index-url https://download.pytorch.org/whl/cu128 # Gängige ML-Tools pip install transformers datasets accelerate peft bitsandbytes pip install jupyterlab scikit-learn pandas # LoRA Fine-Tuning mit PEFT + Transformers einsatzbereit
Unsere Workstations nach ML-Arbeitslast
Alle unsere Maschinen werden in Auriol (13390) von Hand montiert, mit Ausnahme des von ASUS montierten GB10, vor dem Versand getestet und in der gesamten Europäischen Union geliefert. Sie sind vollständig konfigurierbar, einschließlich der GPU.
CoreIA RTX 5090
32 GB VRAM und Rekordbandbreite: die Referenzmaschine für LoRA- und QLoRA-Fine-Tuning.
Die Workstation, die den Großteil der professionellen Anforderungen abdeckt. 32 GB zum Verfeinern von Modellen mit bis zu 14 Milliarden Parametern, 64 GB RAM für die Datenpipeline und eine 12-Kern-CPU. Die Referenzauswahl für einzelne ML-Ingenieure.
Vollständiger ML-Stack auf Wunsch vorinstalliert
Diese Workstation konfigurieren
CoreIA 2x RTX 5090 (64 GB)
Zwei GPUs für paralleles Training, das Ausführen mehrerer Experimente oder die Verteilung eines großen Modells.
Für Skalierbarkeit. Zwei RTX 5090 ermöglichen verteiltes Training, die Verarbeitung größerer Modelle oder das gleichzeitige Ausführen mehrerer Experimentierläufe. 128 GB RAM versorgen beide Karten ohne Engpässe.
Verteiltes Training, Installation vor Ort möglich
Dieses Rack konfigurieren
CoreIA Threadripper PRO 4 GPU
96 GB VRAM ECC und bis zu 2 TB RAM: für intensives Fine-Tuning und Forschung.
Die Plattform für ML-Ingenieure, die Grenzen verschieben. 96 GB VRAM ECC für große Modelle und lange Läufe ohne Risiko der Datenkorruption, eine Threadripper PRO-CPU und RAM, erweiterbar auf 2 TB, für die anspruchsvollsten Datenpipelines.
Maßgeschneidert, individuelles Angebot, Installation vor Ort
Angebot anfordern
CoreIA 2x RTX PRO 6000 (192 GB ECC)
192 GB VRAM ECC für Full Fine-Tuning, große Modelle und kontinuierliche F&E.
Das Oberste unserer Klasse mit zwei Karten für lokales ML. 192 GB VRAM ECC ermöglichen das Full Fine-Tuning großer Modelle, verteiltes Training auf zwei professionellen Karten und Zuverlässigkeit auf Rechenzentrumsniveau für kontinuierliche Arbeitslasten.
F&E, Full Fine-Tuning, Installation vor Ort
Angebot anfordern
CoreIA GB10 (ASUS Ascent GX10)
128 GB einheitlicher Speicher zum Prototyping sehr großer Modelle im Desktopformat.
Ein anderer Ansatz: Der 128 GB große einheitliche CPU-GPU-Speicher ermöglicht das Laden von Modellen, die selbst für eine RTX 5090 zu groß sind, in einem kompakten und leisen Format mit CUDA- und Jupyter-Umgebung, die ab dem Start einsatzbereit ist.
DGX OS, einsatzbereite ML-Umgebung
Diesen Server entdeckenWarum eine lokale Workstation statt der Cloud?
GPU-Cloud-Dienste haben ihre Berechtigung, aber für einen ML-Ingenieur, der täglich damit arbeitet, bietet eine lokale Workstation konkrete Vorteile.
- Kontrollierbare Kosten. GPU-Stunden in der Cloud summieren sich schnell. Eine lokale Workstation ist eine einmalige Investition, die sich innerhalb eines bis zwei Jahre kontinuierlichen Betriebs amortisiert.
- Sofortige Iteration. Keine Bereitstellung, keine Wartezeit auf eine Instanz, kein Datentransfer. Sie starten Ihre Experimente sofort.
- Private Daten. Ihre Datensätze und proprietären Modelle bleiben bei Ihnen und werden nicht über einen Drittanbieter übertragen.
- Volle Verfügbarkeit. Keine GPU-Kontingente, keine Instanzengpässe, keine Ausfälle. Ihre Maschine ist immer da.
- Stabile Umgebung. Ihr Software-Stack ändert sich nicht von einer Sitzung zur nächsten.
Kurz zusammengefasst
Wie viel VRAM braucht ein ML-Ingenieur?
16 GB für Entwicklung und Prototyping, 24 bis 32 GB für LoRA-/QLoRA-Fine-Tuning, 96 GB ECC und mehr für Full Fine-Tuning und Forschung.
Braucht man ECC-Speicher?
Ja, für mehrstündige Trainings über mehrere Tage hinweg: ECC schützt vor fehlerhaften Speicherzugriffen, die unbemerkt einen Trainingslauf korrumpieren können. Die RTX PRO 6000 Blackwell-Karten sind damit ausgestattet.
Ist die CPU für ML wichtig?
Ja, für die Datenvorbereitung. Eine leistungsstarke GPU wird nutzlos, wenn sie nicht ausreichend versorgt wird. Viele Kerne und viel RAM verhindern diesen Engpass.
Benötigt Fine-Tuning mehr Ressourcen als Inferenz?
Deutlich mehr. Aufgrund der Gradienten und des Zustands des Optimierers kann Fine-Tuning das zwei- bis dreifache VRAM der Inferenz desselben Modells erfordern.
Lokal oder Cloud?
Lokal ist für den täglichen Gebrauch kostengünstiger und schneller. Ein hybrider Ansatz, lokal ergänzt durch punktuelle Cloud-Ressourcen, ist oft am sinnvollsten.
Sind die Maschinen entwicklungsfertig?
Ja, auf Wunsch: PyTorch, CUDA, Hugging Face-Bibliotheken und Jupyter (CUDA) sind vorinstalliert, sodass Sie direkt nach dem Auspacken mit der Programmierung beginnen können.
Kann die Konfiguration angepasst werden?
Ja, vollständig. Grafikkarte, CPU, RAM, Speicher, Netzteil, Kühlung und Gehäuse können für jedes Produkt über den Online-Konfigurator angepasst werden (außer GB10 mit festen Komponenten). Für spezielle Anforderungen oder eine maßgeschneiderte Konfiguration kontaktieren Sie uns unter contact@radiancesystems.eu oder über das Angebotsformular: Wir passen die Maschine genau an Ihre Arbeitslast an.
