Welcher Server für Inkling 2 Small? Arbeitsspeicher, Hardware, Leistung und Lizenz
Teilen
Aktualisiert: 13. November 2026
Welcher Server für Inkling 2 Small?
Kein Desktop-PC ist ausreichend: Es werden mindestens 6 Grafikkarten benötigt.
Trotz seines Namens verfügt Inkling 2 Small über 594 Milliarden Parameter. Thinking Machines benötigt für die native 4-Bit-Version mindestens 500 GB Arbeitsspeicher. Bei uns bedeutet das den Serveur IA EPYC 8 GPU mit mindestens 6 Karten. Die Apache 2.0 Lizenz erlaubt die kommerzielle Nutzung.
Dieses Modell erschien am 4. November 2026 auf Hugging Face. Es stammt von Thinking Machines. Es handelt sich um ein Mixture-of-Experts-Modell, das Texte und Bilder verarbeitet und in Text antwortet. Der Entwickler richtet es an Agenten, für Code, Assistenten und die Recherche in Dokumenten. Hier erfahren Sie, was für den Betrieb bei Ihnen erforderlich ist und wie die veröffentlichten Scores ausfallen.
Der benötigte Arbeitsspeicher
Ein Expertenmodell wird vollständig in den Arbeitsspeicher geladen, auch wenn bei jedem Wort nur ein Teil davon aktiv ist. Inkling 2 Small wurde direkt in 4 Bit (Format NVFP4) trainiert: Dies ist seine native Präzision, und der Hersteller empfiehlt diese Version für alle Anwendungsbereiche. Es gibt auch eine 8-Bit-Version, deren Mehrwert jedoch als vernachlässigbar eingestuft wird.
| Version | GPU-Speicher | Maschine aus unserem Sortiment |
|---|---|---|
| NVFP4 (4 Bit, nativ) | mindestens 500 GB | Server IA EPYC 8 GPU mit mindestens 6 RTX PRO 6000 (576 GB). Die Basiskonfiguration mit 4 Karten und 384 GB ist nicht ausreichend. |
| MXFP8 (8 Bit) | mindestens 800 GB | Keine Maschine aus unserem Sortiment: Unser Maximum liegt bei 768 GB |
| FP16 (16 Bit) | ca. 1.114 GB | Keine Maschine aus unserem Sortiment |
Die Mindestanforderungen von 500 und 800 GB stammen von Thinking Machines. Für die reinen Gewichte in 4 Bit mit 32.768 Kontext-Token ergibt unsere Berechnung etwa 343 GB: Der Rest bietet Platz für den langen Kontext und die Engine. Wir orientieren uns an der Angabe des Herstellers. Die Zahl für FP16 ist eine Schätzung von Radiance Systems.

Server IA EPYC 8 GPU ansehen
Welches System?
| System | GPU-Speicher | Preis zzgl. MwSt. | Inkling 2 Small |
|---|---|---|---|
| CoreIA 2x RTX PRO 6000 | 192 GB | 40.771 € | Nein, weit entfernt von 500 GB |
| CoreIA Threadripper PRO 4 GPU | Basis 96 GB, 384 GB mit 4 Karten |
26.368 € mit 1 Karte, zusätzliche Karten werden addiert |
Nein, maximal 384 GB |
| Server IA EPYC 8 GPU | Basis 384 GB, maximal 768 GB |
188.367 € mit 4 Karten, zusätzliche Karten werden addiert |
Ja, mit 6 bis 8 RTX PRO 6000 |
Hierbei handelt es sich um eine Investition in einen Server und nicht um eine Desktop-Station. Diese Konfiguration ist sinnvoll, wenn Sie ein Modell dieser Leistungsklasse lokal betreiben möchten, ohne Ihre Daten an einen externen Anbieter zu senden. Der Server wird mit vorinstallierter und getesteter Software geliefert.
Ist es gut? Die Einordnung durch Thinking Machines
Das Datenblatt vergleicht das Modell mit anderen großen Open-Source-Modellen, nicht mit Qwen3.8-27B oder Gemma 4 12B. Daher können wir es gegenüber dieser spezifischen Konkurrenz nicht mit veröffentlichten Zahlen einordnen. Im Vergleich zu Modellen seiner Kategorie überzeugt es besonders bei Büroaufgaben (Recht, Finanzen, Unternehmensaufgaben) sowie bei kreativen Aufgaben. In reiner Programmierung liegt DeepSeek-V4.1-Flash-1017 weiterhin vorne. Wir haben einen ausführlichen Artikel zu DeepSeek-V4.1-Flash-1017 sowie einen weiteren zu MiniMax-M3.1-Flash veröffentlicht.
| Test (veröffentlichte Werte von Thinking Machines) | Inkling 2 Small | DeepSeek V4.1 Flash-1017 | MiniMax M3.1 Flash | GLM-5.3-Flash |
|---|---|---|---|---|
| JobBench (Büroaufgaben) | 70,5 % | 68,5 % | 67,5 % | 60,7 % |
| Finance Agent (Finanzwesen) | 67,5 % | 62,9 % | 58,8 % | 60,6 % |
| Harvey LAB (Rechtswesen) | 21,7 % | 14,2 % | 7,5 % | 10,4 % |
| Réponses sans invention (AA-Omniscience) | 73,3 % | 35,9 % | 6,3 % | 61,7 % |
| Global-MMLU-Lite (Mehrsprachigkeit) | 91,0 % | 90,4 % | 78,5 % | 89,0 % |
| DeepSWE v1.1 (Code) | 72,1 % | 77,0 % | 73,7 % | 63,4 % |
Die Werte wurden von Thinking Machines bereitgestellt und mit deren eigenen Einstellungen gemessen: Sie dienen als Größenordnung und stellen keine unabhängige Rangliste dar. „Réponses sans invention“ entspricht der Halluzinationsrate von AA-Omniscience v1.1.
Die Lizenz vor dem Einsatz im Unternehmen
Apache 2.0
Das Modell wird unter der Apache 2.0 Lizenz veröffentlicht: Die kommerzielle Nutzung, Modifikation und Weiterverbreitung sind gestattet.
Hinweise und Nutzungsrichtlinien
Bei einer Weitergabe müssen die Lizenz und die Urheberrechtshinweise beibehalten werden. Thinking Machines veröffentlicht zudem eine Akzeptanzrichtlinie, die vor der Bereitstellung gelesen werden sollte.
Zusammenfassung der auf dem Modellblatt angegebenen Lizenz, die allein maßgeblich ist. Dies stellt keine Rechtsberatung dar.
Benötigen Sie wirklich ein Modell dieser Größe?
Oftmals nein. Für einen internen Assistenten oder die Suche in Ihren Dokumenten reicht ein Modell mit 20 bis 30 Milliarden Parametern auf einer einzelnen Grafikkarte aus, was das Budget deutlich reduziert. Inkling 2 Small rechtfertigt sich bei Agenten, die komplexe Fälle bearbeiten, wenn Qualität und Zuverlässigkeit der Antworten Vorrang vor den Kosten haben.
| Maschine | GPU-Speicher | Preis zzgl. MwSt. |
|---|---|---|
| CoreIA RTX 5060 Ti | 16 GB | 1.724 € |
| CoreIA RTX 5090 | 32 GB | 9.403 € |
Welches Modell für Ihren Einsatzzweck?
Sagen Sie uns, was Sie ausführen möchten. Wir beraten Sie zur passenden Hardware und prüfen, ob ein kleineres Modell ausreicht. Kostenloses, unverbindliches Angebot.
Häufig gestellte Fragen
Wie viel GPU-Arbeitsspeicher wird für Inkling 2 Small benötigt?
Laut Thinking Machines sind mindestens 500 Go für die nativen 4-Bit-Version (NVFP4) und mindestens 800 Go für die 8-Bit-Version erforderlich.
Warum wird es als „Small“ bezeichnet, wenn es 594 Milliarden Parameter hat?
Es ist die kleinere Version im Portfolio des Herstellers. Dennoch handelt es sich um ein sehr großes Modell: Insgesamt 594 Milliarden Parameter, wovon 17 Milliarden für jedes Wort aktiv sind.
Läuft das Modell auf einer einzelnen Grafikkarte?
Nein. Selbst die RTX PRO 6000 mit 96 Go reicht dafür nicht aus. Sie benötigen einen Server mit mindestens 6 RTX PRO 6000, wie zum Beispiel unseren Serveur IA EPYC 8 GPU mit optionalen Karten.
Ist es besser als DeepSeek-V4.1-Flash-1017?
Basierend auf den Scores von Thinking Machines schneidet es bei Büroaufgaben, im Bereich Recht, in der Finanzwelt besser ab und generiert weniger Halluzinationen. DeepSeek-V4.1-Flash-1017 bleibt im Bereich Programmierung vorne.
Kann es in Unternehmen eingesetzt werden?
Ja. Die Apache 2.0 Lizenz erlaubt die kommerzielle Nutzung. Behalten Sie die Lizenz und die entsprechenden Hinweise bei einer Weitergabe bei und lesen Sie die Nutzungsrichtlinien von Thinking Machines.
Welchen Engine für den Betrieb nutzen?
Thinking Machines veröffentlicht Rezepte für SGLang, vLLM, TokenSpeed und Unsloth.
Welche Geschwindigkeit ist zu erwarten?
Da wir dieses Modell nicht auf unseren Systemen getestet haben, geben wir keine Angaben zur Geschwindigkeit ab.
Quellen: Thinking Machines, Inkling 2 Small Datenblatt auf Hugging Face ; Apache 2.0 Lizenz ; Thinking Machines, Nutzungsbedingungen. Abgenommen am 13. November 2026.











