PC pour agent IA Hermes local : modèle, contexte et VRAM

PC für lokalen KI-Agenten Hermes: Modell, Kontext und VRAM

12. Juni 2026

Die meisten KI-Tools vergessen alles, sobald Sie das Fenster schließen. Hermes, der Open-Source-Autonom-Agent von Nous Research, macht genau das Gegenteil: Er behält sich alles, lernt aus jeder Aufgabe und wird mit der Zeit besser. Und er kann vollständig auf Ihrem eigenen Rechner laufen – ohne API-Key, ohne Cloud, ohne Kosten pro Token.

Einen KI-Agenten lokal laufen zu lassen, hat nichts mit einem einfachen Chatbot zu tun. Ein Agent führt Dutzende Schritte nacheinander aus, ruft Tools auf, liest Ergebnisse, entscheidet über die nächsten Schritte und behält während der gesamten Sitzung diesen gesamten Kontext im Speicher. Das stellt präzise Hardwareanforderungen, die oft falsch verstanden werden.

Dieser Leitfaden erklärt, was der Hermes-Agent ist, warum der Kontext der entscheidende Faktor ist, welches Modell dazu passt und welchen Rechner Sie wählen sollten, damit er dauerhaft zuverlässig läuft.

Was genau ist Hermes?

Man muss zwei Dinge unterscheiden, die den gleichen Namen tragen und oft verwechselt werden.

Auf der einen Seite steht das Hermes-Agent-Framework: ein autonomer Open-Source-Agent unter MIT-Lizenz, entwickelt von Nous Research. Es ist die Software, die Aufgaben, Speicher und Tools koordiniert. Auf der anderen Seite stehen die Hermes-Modelle (Hermes 4-Serie): von demselben Team verfeinerte Sprachmodelle, die speziell für agentisches Verhalten entwickelt wurden.

Der wichtigste Punkt: Das Hermes-Framework ist modellunabhängig. Es funktioniert mit jedem Motor, der eine API im OpenAI-Format bereitstellt. Sie können es also mit einem Hermes-Modell, aber auch mit Qwen, Gemma oder jedem anderen leistungsfähigen lokalen Modell betreiben.

Warum Hermes so überzeugt hat: Das schlecht gehütete Geheimnis der Open-Source-Modelle ist, dass die meisten mit Daten des Typs „Konversation“ trainiert wurden – Fragen und Antworten, Zusammenfassungen, Texte verfassen. Agentisches Verhalten (die Beschreibung eines Tools lesen, entscheiden, es aufzurufen, die JSON-Antwort analysieren, die nächste Aktion auswählen) ist dabei kaum vertreten. Hermes wurde speziell mit echten agentischen Abläufen trainiert. Es ist einer der ersten lokalen Agenten, der eine hundertstufige Rechercheaufgabe durchhält, ohne den Faden zu verlieren.

Was das Hermes-Framework kann

Dauerhafter Speicher

Hermes behält den Kontext zwischen den Sitzungen. Er beginnt bei jedem Neustart nicht bei Null, sondern erinnert sich an Ihre Aufgaben, Ihre Präferenzen und das, was er bereits erledigt hat.

Mehr als 70 integrierte Fähigkeiten

Websuche, Dateiverarbeitung, Codeausführung, Nachrichtenversand: Hermes enthält Dutzende sofort einsatzbereite Tools, die beliebig erweitert werden können.

Selbstverbesserung

Aus erfolgreichen Aufgaben erstellt Hermes wiederverwendbare Fähigkeitskarten, speichert sie im Markdown-Format und lädt sie, wenn eine ähnliche Situation auftritt, wieder. Er bewertet sich regelmäßig selbst.

Geplante Automatisierungen

Hermes kann wiederkehrende Aufgaben nach einem Zeitplan ausführen: Überwachung, Berichte, Kontrolle – ganz ohne Ihr Zutun.

Anbindung an Messenger

Telegram, Discord, Slack, WhatsApp, Signal, E-Mail: Sie steuern Ihren Agenten über Ihre gewohnten Tools und er antwortet Ihnen dort, wo Sie sind.

Modellunabhängig

Jeder OpenAI-kompatible Motor eignet sich. Die Lernschleife funktioniert mit einem lokalen Modell auf Ihrem Rechner genauso.

Der entscheidende Faktor: Der Kontext, nicht die Modellgröße

Das ist der häufigste Fehler bei der Dimensionierung eines Rechners für einen Agenten. Zuerst denkt man an die Größe des Modells. Tatsächlich bestimmt beim Agenten das Kontextfenster den Speicherbedarf.

Hermes nutzt Kontext sehr intensiv. Jeder Toolaufruf, jedes beobachtete Ergebnis und jeder Denkschritt summiert sich im Kontext. Die offizielle Dokumentation schreibt ein Minimum von 64.000 Token vor, und Modelle mit einem kleineren Fenster werden beim Start einfach abgelehnt.

Die Vorgabe, die alles verändert: Hermes benötigt mindestens 64K Kontext-Token. Dieser Kontext belegt zusätzlich zum Modellgewicht den GPU-Speicher. Dieser Kontextcache (KV-Cache) treibt den benötigten VRAM stärker in die Höhe als das Modell selbst. Einen Rechner für einen Agenten zu dimensionieren, ohne den Kontext zu berücksichtigen, führt systematisch zu Problemen.

Konkret kann ein Modell, das für einfaches Chatten mit 8 GB ausreicht, nach Aktivierung des 64K-Fensters 12 GB oder mehr benötigen. Und je mehr Spielraum Sie für mehrstufige Schlussfolgerungen wünschen (128K und mehr), desto höher steigt der VRAM-Bedarf.

Welches Modell passt lokal zu Hermes?

Das wichtigste Kriterium für einen Agenten ist nicht das Allgemeinwissen des Modells, sondern die Zuverlässigkeit des Tool-Callings: seine Fähigkeit, die richtigen Tools aufzurufen, die Antworten zu lesen und sich bei langen Schleifen nicht zu verlieren. Hier sind die besten Optionen für 2026, nach VRAM-Budget. Dieses VRAM-Budget wählen Sie bei der Konfiguration Ihres lokalen KI-Rechners, abhängig von Agent und Modell.

VRAM-Budget	Empfohlenes Modell	Warum	64K-Kontext
8 GB	Qwen3 8B	Bestes Tool-Calling seiner Kategorie	10 bis 12 GB, knapp
16 GB	Qwen 3.5 14B	Zuverlässiges Tool-Calling, gutes Schlussfolgern	Ausreichend
16 GB	Gemma 4 26B MoE	Beste Balance aus Geschwindigkeit und Qualität	Ausreichend
24 GB	Hermes 4.3 36B	Agenten-optimiert, neutral, bis zu 512K Kontext	Großer Spielraum
24 GB	Hermes 4 35B-A3B (MoE)	Hielt eine 100-stufige Aufgabe ohne Abdriften durch	128K möglich

Die empfohlene Kombination für den Einstieg: Hermes Agent + ein 14B-Modell wie Qwen 3.5 auf einer 16-GB-Karte. Das beste Gleichgewicht zwischen Zuverlässigkeit, Geschwindigkeit und Budget. Um die dedizierten Hermes 4-Modelle und großen Kontextfenster voll auszunutzen, wechseln Sie auf 24 oder 32 GB.

Ein ehrliches Wort zu den MoE-Varianten. Mixture-of-Experts-Modelle wie das 35B-A3B sind schnell, aber Rückmeldungen aus der Community zeigen, dass sie bei sehr langen Agentenschleifen Toolaufrufe wiederholen oder überspringen können. Dichte Modelle (27B) sind bei diesen Aufgaben oft beständiger. Wenn Zuverlässigkeit für Ihre Agenten wichtiger ist als Geschwindigkeit, bevorzugen Sie ein dichtes Modell und testen Sie Ihre Kette, bevor Sie sie produktiv einsetzen.

Hermes lokal installieren – Schritt für Schritt

Auf einem Rechner mit einer aktuellen NVIDIA-Karte ist der Weg einfach. Hermes nutzt Ollama als lokalen Inferenz-Motor.

Installieren Sie Ollama (aktuelle Version) und laden Sie das gewünschte Modell herunter.
Konfigurieren Sie das Modell mit einem Kontextfenster von mindestens 64K Token.
Installieren Sie das Hermes-Agent-Framework (aktuelle Python-Version erforderlich).
Verweisen Sie Hermes auf Ihre lokale Ollama-Instanz (OpenAI-kompatibler Endpunkt).
Verbinden Sie Ihre Messenger (Telegram, Discord, E-Mail) und starten Sie Ihre erste Aufgabe.

# Beispiel: Vorbereitung eines 27B-Modells mit 64K Kontext unter Ollama
ollama pull qwen3.6:27b

# Erstellen einer Variante mit erweitertem Kontext für Hermes
cat > Modelfile <<'EOF'
FROM qwen3.6:27b
PARAMETER num_ctx 65536
PARAMETER temperature 0.6
PARAMETER top_p 0.95
EOF
ollama create qwen3.6-agent -f Modelfile

# Hermes zeigt anschließend auf http://localhost:11434/v1

Die stille Falle: Bei einem Agenten führt ein falsches Template-Format oder ein zu kurzer Kontext nicht zu einer klaren Fehlermeldung, sondern zu stillen Fehlern – Toolaufrufe werden ignoriert, Schleifen laufen ins Leere. Das Modell, der Motor und der Client müssen sich darauf einigen, wie Tool-Schemata serialisiert werden. Auf unseren Rechnern ist die Umgebung vorkonfiguriert und getestet, um genau diese Art von Problemen zu vermeiden.

Warum den Agenten lokal statt in der Cloud laufen lassen

Ein autonomer Agent, der auf Ihre Dateien, Messenger und Tools zugreift, verarbeitet von Natur aus sensible Daten. Die lokale Ausführung bietet entscheidende Vorteile.

Vertraulichkeit. Ihre Daten, Dateien und Gespräche verlassen nie Ihren Rechner.
Keine Nutzungskosten. Ein Agent, der kontinuierlich läuft und Aufgaben nacheinander ausführt, würde über eine API teuer werden. Lokal ist die Nutzung unbegrenzt, ohne Abrechnung pro Token.
Verfügbarkeit. Keine Quoten, keine Anfragemengenbegrenzung, keine Dienstunterbrechungen durch den Anbieter.
Volle Kontrolle. Sie wählen das Modell, die Tools, die zugänglichen Daten und behalten die Kontrolle über die gesamte Umgebung.
Kontinuierlicher Betrieb. Ein lokaler Agent kann Tag und Nacht für Überwachung oder geplante Automatisierungen laufen, ohne zusätzliche Kosten.

Das wirtschaftliche Argument ist real. Ein intensiv genutzter Agent über eine Cloud-API kann mehrere Dutzend Euro pro Monat kosten, bei kontinuierlicher Nutzung sogar weit mehr. Eine lokale Workstation ist eine einmalige Investition: Sobald sie erworben ist, läuft Ihr Agent so oft, wie Sie möchten, ohne jegliche wiederkehrenden Kosten pro Token.

Welcher Rechner für einen lokalen Hermes-Agenten

Die richtige Dimensionierung hängt vom gewünschten Modell und dem gewünschten Kontextfenster ab. Denken Sie daran: Der Kontext von 64K oder sogar 128K ist der eigentliche Treiber des VRAM-Bedarfs. Hier sind unsere passenden Workstations, montiert in Auriol (13390) und in der gesamten EU geliefert, mit Ollama und der vorkonfigurierten Agenten-Umgebung auf Anfrage.

CoreIA RTX 5060 TiHermes + 14B-Modell mit 64K. Der ideale Einstieg. 2 068 € CoreIA Radeon AI PRO R9700Reaktiver Agent, komfortabler Kontext, Ryzen 9 für Tool-Use. 4 162 € CoreIA RTX 5090Dedizierte Hermes 4-Modelle, 128K Kontext, lange Agentenschleifen. 10 291 € CoreIA GB10 (ASUS Ascent GX10)Agent für den kontinuierlichen 24/7-Betrieb, sehr langer Kontext, 128 GB Unified Memory. 6 999 €

Für einen Agenten, der dauerhaft läuft, ist die CoreIA GB10 besonders geeignet: leise, energieeffizient und für den kontinuierlichen Betrieb ohne die Nutzung einer Workstation konzipiert. Sie ist der ideale Rechner für einen Überwachungs- oder Automatisierungs-Agenten, der Tag und Nacht in Ihrem Netzwerk arbeitet.

Kurz zusammengefasst

Ist Hermes Agent kostenlos?
Ja, Open Source unter MIT-Lizenz. Ollama und die Open-Source-Modelle (Qwen, Gemma, Hermes) sind ebenfalls kostenlos. Die einzigen Kosten sind Hardware und Strom.

Was ist der eigentliche Dimensionierungsfaktor?
Das Kontextfenster. Hermes benötigt mindestens 64K Token, was den VRAM-Bedarf weit stärker erhöht als die Modellgröße allein.

Wie viel VRAM wird mindestens benötigt?
8 GB für ein 8B-Modell mit 64K (knapp), 16 GB für ein komfortables 14B-Modell, 24 bis 32 GB für dedizierte Hermes 4-Modelle und 128K Kontext.

Welches Modell sollte man mit Hermes wählen?
Für den Einstieg ein 14B wie Qwen 3.5 mit 16 GB. Für maximale Zuverlässigkeit bei langen Schleifen ein dichtes Modell statt eines MoE. Für noch mehr Möglichkeiten die dedizierten Hermes 4-Modelle.

Benötigt man eine Internetverbindung?
Nein für die Inferenz: Alles läuft lokal. Eine Verbindung ist nur für Fähigkeiten erforderlich, die das Web abfragen, falls Sie diese aktivieren.

Kann man ihn kontinuierlich laufen lassen?
Ja. Ein lokaler Agent kann Tag und Nacht für Überwachung und Automatisierungen laufen. Die CoreIA GB10 ist für diese Art von kontinuierlicher Nutzung konzipiert.

Zurück zum Blog