Kleinere Alternativen
Modelle, die weniger Speicher als DeepSeek V3.1 brauchen und etwa gleich gut oder besser abschneiden.
DeepSeek V3.1
MoE
DeepSeek · 684,5B (37B aktiv) · Mixture of Experts
DeepSeek V3.1 ist ein 684,5B-Modell von DeepSeek mit 160K Token Kontext. In Q4_K_M mit 8K Kontext braucht es etwa 378,4 GB; mit 474 GB bleibt Luft für lange Chats.
Mixture of Experts
Parameter: 684,5B · Aktiv: 37B
Alle 684,5B Parameter liegen im Speicher, aber nur 37B arbeiten pro Token – es läuft also so schnell wie ein viel kleineres Modell.
Quantisierungsoptionen
| Quant. | Bits | Speicher | Qualität | Auf deiner Hardware |
|---|---|---|---|---|
| Q2_K | 3,16 | — | Spürbar schlechter | … |
| Q3_K_M | 4 | — | Etwas Verlust | … |
| Q4_K_M | 4,89 | — | Gut | … |
| Q5_K_M | 5,7 | — | Gut | … |
| Q6_K | 6,56 | — | Fast original | … |
| Q8_0 | 8,5 | — | Fast original | … |
| F16 | 16 | — | Original | … |
Speicher nach Kontextlänge
In Q4_K_M. Der Kontext-Cache wächst mit jedem Token, das das Modell im Blick behält.
| Kontext | Kontext-Cache | Gesamt |
|---|---|---|
| 4K | 0,3 GB | 378,1 GB |
| 8K | 0,5 GB | 378,4 GB |
| 32K | 2,1 GB | 380 GB |
| 128K | 8,6 GB | 386,4 GB |
Nächste Schritte
Vergleiche es mit
Bewertete Modelle ähnlicher Größe, nebeneinander auf deinem Gerät.
Die kleinste Hardware, auf der es gut läuft
Desktop-Geräte mit dem wenigsten Speicher, die DeepSeek V3.1 bei Q4_K_M Note A oder S geben.
Kein Desktop-Gerät in unserem Katalog erreicht damit Note A oder besser.
Kann ich DeepSeek V3.1 lokal ausführen?
Kann ich DeepSeek V3.1 lokal ausführen?
Ja, wenn deine GPU oder dein Mac in Q4_K_M etwa 378,4 GB frei hat. Öffne diese Seite auf dem Rechner, um die Note für deine Hardware zu sehen, und starte es mit llama.cpp, Ollama oder LM Studio.
Wie viel Speicher braucht DeepSeek V3.1?
Etwa 378,4 GB in Q4_K_M mit 8K Kontext und 665,1 GB in Q8_0. Niedrigere Quantisierungen passen auf kleinere Karten, mit etwas Qualitätsverlust; längerer Kontext kommt hinzu.