Aller au contenu

DeepSeek V4 Pro 0813

MoE

DeepSeekDeepSeek · 1,7T (49B actifs) · Mélange d'experts

DeepSeek V4 Pro 0813 est un modèle de 1,7T de DeepSeek avec un contexte de 1M tokens. En Q4_K_M avec 8K de contexte, il demande environ 886,8 Go ; 1110 Go laissent de la marge pour les longues conversations.

Hugging Face GGUF

Mélange d'experts

Paramètres: 1,7T · Actifs: 49B

Les 1,7T paramètres sont chargés en mémoire, mais seuls 49B travaillent sur chaque token : il tourne à la vitesse d'un modèle bien plus petit.

Options de quantification

Quant.MémoireSur votre matériel
Q2_K—…
Q3_K_M—…
Q4_K_M—…
Q5_K_M—…
Q6_K—…
Q8_0—…
F16—…

Mémoire selon le contexte

En Q4_K_M. Le cache du contexte grandit à chaque token que le modèle garde en tête.

ContexteCache de contexteTotal
4K0,5 GB886,4 GB
8K1 GB886,8 GB
32K3,8 GB889,7 GB
128K15,3 GB901,1 GB
256K30,5 GB916,4 GB

Partager une vitesse mesurée

Lancez l’une de ces commandes et collez toute la sortie ci-dessous (ou seulement les tokens par seconde) :

llama-bench -m model.gguf
ollama run model --verbose

Publié anonymement et conservé. Aucun compte ni adresse stockés, seulement une empreinte qui change chaque jour pour limiter à dix envois par jour.

Pour aller plus loin

Le matériel minimal où il tourne bien

Les appareils de bureau avec le moins de mémoire qui donnent à DeepSeek V4 Pro 0813 la note A ou S en Q4_K_M.

Aucun appareil de bureau du catalogue ne le fait tourner avec la note A ou mieux.

Puis-je faire tourner DeepSeek V4 Pro 0813 en local ?

Puis-je faire tourner DeepSeek V4 Pro 0813 en local ?

Oui, si votre GPU ou votre Mac dispose d'environ 886,8 Go libres en Q4_K_M. Ouvrez cette page sur cet ordinateur pour voir la note de votre matériel, puis lancez-le avec llama.cpp, Ollama ou LM Studio.

De combien de mémoire DeepSeek V4 Pro 0813 a-t-il besoin ?

Environ 886,8 Go en Q4_K_M avec 8K de contexte et 1 634,6 Go en Q8_0. Les quantifications plus basses tiennent sur des cartes plus petites avec une perte de qualité ; les longs contextes s'ajoutent au total.