Kleinere Alternativen
Modelle, die weniger Speicher als Inkling Small brauchen und etwa gleich gut oder besser abschneiden.
Inkling Small
MoEVisionTThinking Machines Lab · 266B (12B aktiv) · Mixture of Experts
Inkling Small ist ein 266B-Modell von Thinking Machines Lab mit 1M Token Kontext. In Q4_K_M mit 8K Kontext braucht es etwa 149 GB; mit 188 GB bleibt Luft für lange Chats.
Mixture of Experts
Parameter: 266B · Aktiv: 12B
Alle 266B Parameter liegen im Speicher, aber nur 12B arbeiten pro Token – es läuft also so schnell wie ein viel kleineres Modell.
Quantisierungsoptionen
| Quant. | Bits | Speicher | Qualität | Auf deiner Hardware |
|---|---|---|---|---|
| Q2_K | 3,16 | — | Spürbar schlechter | … |
| Q3_K_M | 4 | — | Etwas Verlust | … |
| Q4_K_M | 4,89 | — | Gut | … |
| Q5_K_M | 5,7 | — | Gut | … |
| Q6_K | 6,56 | — | Fast original | … |
| Q8_0 | 8,5 | — | Fast original | … |
| F16 | 16 | — | Original | … |
Speicher nach Kontextlänge
In Q4_K_M. Der Kontext-Cache wächst mit jedem Token, das das Modell im Blick behält.
| Kontext | Kontext-Cache | Gesamt |
|---|---|---|
| 4K | 0,2 GB | 148,9 GB |
| 8K | 0,3 GB | 149 GB |
| 32K | 0,9 GB | 149,6 GB |
| 128K | 3,6 GB | 152,3 GB |
| 256K | 7,1 GB | 155,8 GB |
Nächste Schritte
Vergleiche es mit
Bewertete Modelle ähnlicher Größe, nebeneinander auf deinem Gerät.
Die kleinste Hardware, auf der es gut läuft
Desktop-Geräte mit dem wenigsten Speicher, die Inkling Small bei Q4_K_M Note A oder S geben.
Kann ich Inkling Small lokal ausführen?
Kann ich Inkling Small lokal ausführen?
Ja, wenn deine GPU oder dein Mac in Q4_K_M etwa 149 GB frei hat. Öffne diese Seite auf dem Rechner, um die Note für deine Hardware zu sehen, und starte es mit llama.cpp, Ollama oder LM Studio.
Wie viel Speicher braucht Inkling Small?
Etwa 149 GB in Q4_K_M mit 8K Kontext und 261,6 GB in Q8_0. Niedrigere Quantisierungen passen auf kleinere Karten, mit etwas Qualitätsverlust; längerer Kontext kommt hinzu.