Welcher Server für Inkling 2 Small? Arbeitsspeicher, Hardware, Leistung und Lizenz

Aktualisiert: 13. November 2026

Welcher Server für Inkling 2 Small?
Kein Desktop-PC ist ausreichend: Es werden mindestens 6 Grafikkarten benötigt.

Trotz seines Namens verfügt Inkling 2 Small über 594 Milliarden Parameter. Thinking Machines benötigt für die native 4-Bit-Version mindestens 500 GB Arbeitsspeicher. Bei uns bedeutet das den Serveur IA EPYC 8 GPU mit mindestens 6 Karten. Die Apache 2.0 Lizenz erlaubt die kommerzielle Nutzung.

Dieses Modell erschien am 4. November 2026 auf Hugging Face. Es stammt von Thinking Machines. Es handelt sich um ein Mixture-of-Experts-Modell, das Texte und Bilder verarbeitet und in Text antwortet. Der Entwickler richtet es an Agenten, für Code, Assistenten und die Recherche in Dokumenten. Hier erfahren Sie, was für den Betrieb bei Ihnen erforderlich ist und wie die veröffentlichten Scores ausfallen.

594 MilliardenParameter insgesamt
17 Milliardenaktive Parameter pro generiertem Wort
1 MillionToken Kontextmaximum


Der benötigte Arbeitsspeicher

Ein Expertenmodell wird vollständig in den Arbeitsspeicher geladen, auch wenn bei jedem Wort nur ein Teil davon aktiv ist. Inkling 2 Small wurde direkt in 4 Bit (Format NVFP4) trainiert: Dies ist seine native Präzision, und der Hersteller empfiehlt diese Version für alle Anwendungsbereiche. Es gibt auch eine 8-Bit-Version, deren Mehrwert jedoch als vernachlässigbar eingestuft wird.

Version GPU-Speicher Maschine aus unserem Sortiment
NVFP4 (4 Bit, nativ) mindestens 500 GB Server IA EPYC 8 GPU mit mindestens 6 RTX PRO 6000 (576 GB). Die Basiskonfiguration mit 4 Karten und 384 GB ist nicht ausreichend.
MXFP8 (8 Bit) mindestens 800 GB Keine Maschine aus unserem Sortiment: Unser Maximum liegt bei 768 GB
FP16 (16 Bit) ca. 1.114 GB Keine Maschine aus unserem Sortiment

Die Mindestanforderungen von 500 und 800 GB stammen von Thinking Machines. Für die reinen Gewichte in 4 Bit mit 32.768 Kontext-Token ergibt unsere Berechnung etwa 343 GB: Der Rest bietet Platz für den langen Kontext und die Engine. Wir orientieren uns an der Angabe des Herstellers. Die Zahl für FP16 ist eine Schätzung von Radiance Systems.

Welche Karten? Das NVFP4-Format ist für Karten der Blackwell-Generation vorgesehen, wie die RTX PRO 6000. Für dieses Modell empfehlen wir daher RTX PRO 6000 im Server anstelle von L40S.
KI-Server EPYC 8 GPU, ASUS Rack-Chassis
Server IA EPYC 8 GPUBis zu 8 Karten, 768 GB GPU-Speicher
Server IA EPYC 8 GPU ansehen


Welches System?

System GPU-Speicher Preis zzgl. MwSt. Inkling 2 Small
CoreIA 2x RTX PRO 6000 192 GB 40.771 € Nein, weit entfernt von 500 GB
CoreIA Threadripper PRO 4 GPU Basis 96 GB, 384 GB mit 4 Karten 26.368 €
mit 1 Karte, zusätzliche Karten werden addiert
Nein, maximal 384 GB
Server IA EPYC 8 GPU Basis 384 GB, maximal 768 GB 188.367 €
mit 4 Karten, zusätzliche Karten werden addiert
Ja, mit 6 bis 8 RTX PRO 6000

Hierbei handelt es sich um eine Investition in einen Server und nicht um eine Desktop-Station. Diese Konfiguration ist sinnvoll, wenn Sie ein Modell dieser Leistungsklasse lokal betreiben möchten, ohne Ihre Daten an einen externen Anbieter zu senden. Der Server wird mit vorinstallierter und getesteter Software geliefert.

Was wir nicht wissen. Wir haben dieses Modell nicht auf unseren Maschinen getestet und geben daher keine Geschwindigkeitsangaben an. Die Beispielkonfigurationen des Herstellers basieren auf Datenzentrumskarten (2 B300 oder 4 H200) und nicht auf RTX PRO 6000. Ein maximaler Kontext von einer Million Token erfordert deutlich mehr Arbeitsspeicher als eine herkömmliche Nutzung.


Ist es gut? Die Einordnung durch Thinking Machines

Das Datenblatt vergleicht das Modell mit anderen großen Open-Source-Modellen, nicht mit Qwen3.8-27B oder Gemma 4 12B. Daher können wir es gegenüber dieser spezifischen Konkurrenz nicht mit veröffentlichten Zahlen einordnen. Im Vergleich zu Modellen seiner Kategorie überzeugt es besonders bei Büroaufgaben (Recht, Finanzen, Unternehmensaufgaben) sowie bei kreativen Aufgaben. In reiner Programmierung liegt DeepSeek-V4.1-Flash-1017 weiterhin vorne. Wir haben einen ausführlichen Artikel zu DeepSeek-V4.1-Flash-1017 sowie einen weiteren zu MiniMax-M3.1-Flash veröffentlicht.

Test (veröffentlichte Werte von Thinking Machines) Inkling 2 Small DeepSeek V4.1 Flash-1017 MiniMax M3.1 Flash GLM-5.3-Flash
JobBench (Büroaufgaben) 70,5 % 68,5 % 67,5 %60,7 %
Finance Agent (Finanzwesen) 67,5 % 62,9 % 58,8 % 60,6 %
Harvey LAB (Rechtswesen) 21,7 % 14,2 % 7,5 % 10,4 %
Réponses sans invention (AA-Omniscience) 73,3 % 35,9 % 6,3 % 61,7 %
Global-MMLU-Lite (Mehrsprachigkeit) 91,0 % 90,4 % 78,5 % 89,0 %
DeepSWE v1.1 (Code) 72,1 % 77,0 % 73,7 % 63,4 %

Die Werte wurden von Thinking Machines bereitgestellt und mit deren eigenen Einstellungen gemessen: Sie dienen als Größenordnung und stellen keine unabhängige Rangliste dar. „Réponses sans invention“ entspricht der Halluzinationsrate von AA-Omniscience v1.1.

Recht und Gesundheit. Der Herausgeber rät davon ab, das Modell für medizinische, rechtliche oder kritische Entscheidungen ohne entsprechende Anpassung, Validierung und menschliche Überprüfung zu verwenden. Ein gutes Ergebnis in einem Rechtstest ersetzt keine Prüfung durch einen Fachmann.


Die Lizenz vor dem Einsatz im Unternehmen

Apache 2.0

Das Modell wird unter der Apache 2.0 Lizenz veröffentlicht: Die kommerzielle Nutzung, Modifikation und Weiterverbreitung sind gestattet.

Hinweise und Nutzungsrichtlinien

Bei einer Weitergabe müssen die Lizenz und die Urheberrechtshinweise beibehalten werden. Thinking Machines veröffentlicht zudem eine Akzeptanzrichtlinie, die vor der Bereitstellung gelesen werden sollte.

Zusammenfassung der auf dem Modellblatt angegebenen Lizenz, die allein maßgeblich ist. Dies stellt keine Rechtsberatung dar.


Benötigen Sie wirklich ein Modell dieser Größe?

Oftmals nein. Für einen internen Assistenten oder die Suche in Ihren Dokumenten reicht ein Modell mit 20 bis 30 Milliarden Parametern auf einer einzelnen Grafikkarte aus, was das Budget deutlich reduziert. Inkling 2 Small rechtfertigt sich bei Agenten, die komplexe Fälle bearbeiten, wenn Qualität und Zuverlässigkeit der Antworten Vorrang vor den Kosten haben.

Maschine GPU-Speicher Preis zzgl. MwSt.
CoreIA RTX 5060 Ti 16 GB 1.724 €
CoreIA RTX 5090 32 GB 9.403 €
Bei Radiance Systems. Wir liefern Hardware und Software von A bis Z: den Server, die Inferenz-Engine und die darauf laufenden Anwendungen, wie zum Beispiel ein einsatzbereites CRM. Sie müssen nichts zusammenbauen.

Welches Modell für Ihren Einsatzzweck?

Sagen Sie uns, was Sie ausführen möchten. Wir beraten Sie zur passenden Hardware und prüfen, ob ein kleineres Modell ausreicht. Kostenloses, unverbindliches Angebot.


Häufig gestellte Fragen

Wie viel GPU-Arbeitsspeicher wird für Inkling 2 Small benötigt?
Laut Thinking Machines sind mindestens 500 Go für die nativen 4-Bit-Version (NVFP4) und mindestens 800 Go für die 8-Bit-Version erforderlich.

Warum wird es als „Small“ bezeichnet, wenn es 594 Milliarden Parameter hat?
Es ist die kleinere Version im Portfolio des Herstellers. Dennoch handelt es sich um ein sehr großes Modell: Insgesamt 594 Milliarden Parameter, wovon 17 Milliarden für jedes Wort aktiv sind.

Läuft das Modell auf einer einzelnen Grafikkarte?
Nein. Selbst die RTX PRO 6000 mit 96 Go reicht dafür nicht aus. Sie benötigen einen Server mit mindestens 6 RTX PRO 6000, wie zum Beispiel unseren Serveur IA EPYC 8 GPU mit optionalen Karten.

Ist es besser als DeepSeek-V4.1-Flash-1017?
Basierend auf den Scores von Thinking Machines schneidet es bei Büroaufgaben, im Bereich Recht, in der Finanzwelt besser ab und generiert weniger Halluzinationen. DeepSeek-V4.1-Flash-1017 bleibt im Bereich Programmierung vorne.

Kann es in Unternehmen eingesetzt werden?
Ja. Die Apache 2.0 Lizenz erlaubt die kommerzielle Nutzung. Behalten Sie die Lizenz und die entsprechenden Hinweise bei einer Weitergabe bei und lesen Sie die Nutzungsrichtlinien von Thinking Machines.

Welchen Engine für den Betrieb nutzen?
Thinking Machines veröffentlicht Rezepte für SGLang, vLLM, TokenSpeed und Unsloth.

Welche Geschwindigkeit ist zu erwarten?
Da wir dieses Modell nicht auf unseren Systemen getestet haben, geben wir keine Angaben zur Geschwindigkeit ab.

Quellen: Thinking Machines, Inkling 2 Small Datenblatt auf Hugging Face ; Apache 2.0 Lizenz ; Thinking Machines, Nutzungsbedingungen. Abgenommen am 13. November 2026.

Zurück zum Blog

Ihr Angebot für eine maßgeschneiderte KI-Lösung innerhalb von 24 Stunden

Jedes Radiance-Projekt beginnt mit einem Gespräch. Füllen Sie dieses Formular aus und ein Experte wird sich umgehend mit einer auf Ihr Unternehmen und Ihr Budget zugeschnittenen Lösung bei Ihnen melden.

Antwort innerhalb von 24 Werktagen
Lieferung innerhalb Europas (EU)
2 Jahre Garantie inklusive
Installation vor Ort möglich
Keine Verpflichtung auf Abruf
Dedizierter Support vor und nach dem Kauf
contact@radiancesystems.eu
+33 4 65 84 48 21
Mo, Di, Do, Fr von 9 bis 17 Uhr. Mi von 9 bis 12 Uhr. Sa von 14 bis 17 Uhr
01Suchen Sie etwas?
Einzelne Auswahl. Die folgenden Fragen passen sich Ihrer Antwort an.
00Was werden Sie damit machen?
Mehrere Möglichkeiten.
00Wie viele Personen werden es nutzen?
00Welches Format?
00Haben Sie bereits eine Vorstellung von der Konfiguration?
Optional. Füllen Sie aus, was Sie wissen, und lassen Sie „Beraten Sie mich“ für den Rest stehen.
Wenn Sie alles auf „Empfehlen Sie mir“ belassen, schlagen wir Ihnen eine Konfiguration basierend auf Ihrem Nutzungsverhalten und Ihrem Budget vor.
00Was installieren wir?
Mehrere Möglichkeiten.
00Wie viele Maschinen?
00Wünschen Sie eine Begleitung bei der Umsetzung?
00Ihr Beruf / Ihre Branche
Vorausgefüllt, wenn Sie von einem Fachbereichs-Tab der Seite kommen.
00Was möchten Sie automatisieren oder beschleunigen?
In wenigen Zeilen, mit Ihren eigenen Worten. Kein Fachvokabular nötig.
00Ihre Struktur
00Wie viele Personen werden das Tool nutzen?
00Worauf soll das Tool basieren?
Mehrere Optionen möglich. Wir gehen von Ihren bestehenden Dokumenten aus.
00Wie hoch ist Ihr voraussichtliches Budget?
00Wann benötigen Sie es?
00Lieferland (EU und Schweiz) *
Wir liefern in die gesamte Europäische Union und in die Schweiz.
00Zusätzliche Informationen (optional)
Lärmschutzvorgaben, Formatvorgaben, bereits vorhandene Ausrüstung, Fragen...
00Wie möchten Sie, dass wir Ihnen antworten?
Wenn Sie «per E-Mail» wählen, können Sie auf unsere Nachricht antworten, um Ihre Fragen zu stellen und das Angebot zu präzisieren.
00E-Mail *
Wir senden Ihnen das Angebot an diese Adresse.

Noch Fragen?

Schreiben Sie uns eine E-Mail an contact@radiancesystems.eu oder kontaktieren Sie uns über das Kontaktformular. Wir antworten innerhalb von 3 Stunden auf alle Anfragen während der Geschäftszeiten (Montag, Dienstag, Donnerstag und Freitag von 9 bis 17 Uhr, Mittwoch von 9 bis 12 Uhr, Samstag von 14 bis 17 Uhr).

📞 +33 4 65 84 48 21