Aller au contenu

Qwen3.8 Flash Next

MoEVision

QwenQwen · 180B (6B actifs) · Mélange d'experts

Qwen3.8 Flash Next est un modèle de 180B de Qwen avec un contexte de 256K tokens. En Q4_K_M avec 8K de contexte, il demande environ 111,9 Go ; 141 Go laissent de la marge pour les longues conversations.

Hugging Face GGUF

Mélange d'experts

Paramètres: 180B · Actifs: 6B

Les 180B paramètres sont chargés en mémoire, mais seuls 6B travaillent sur chaque token : il tourne à la vitesse d'un modèle bien plus petit.

Options de quantification

Quant.MémoireSur votre matériel
Q2_K—…
Q3_K_M—…
Q4_K_M—…
Q5_K_M—…
Q6_K—…
Q8_0—…
F16—…

Mémoire selon le contexte

En Q4_K_M. Le cache du contexte grandit à chaque token que le modèle garde en tête.

ContexteCache de contexteTotal
4K0,1 GB111,8 GB
8K0,2 GB111,9 GB
32K0,8 GB112,4 GB
128K3 GB114,7 GB
256K6 GB117,7 GB

Partager une vitesse mesurée

Lancez l’une de ces commandes et collez toute la sortie ci-dessous (ou seulement les tokens par seconde) :

llama-bench -m model.gguf
ollama run model --verbose

Publié anonymement et conservé. Aucun compte ni adresse stockés, seulement une empreinte qui change chaque jour pour limiter à dix envois par jour.

Pour aller plus loin

Puis-je faire tourner Qwen3.8 Flash Next en local ?

Puis-je faire tourner Qwen3.8 Flash Next en local ?

Oui, si votre GPU ou votre Mac dispose d'environ 111,9 Go libres en Q4_K_M. Ouvrez cette page sur cet ordinateur pour voir la note de votre matériel, puis lancez-le avec llama.cpp, Ollama ou LM Studio.

De combien de mémoire Qwen3.8 Flash Next a-t-il besoin ?

Environ 111,9 Go en Q4_K_M avec 8K de contexte et 175,8 Go en Q8_0. Les quantifications plus basses tiennent sur des cartes plus petites avec une perte de qualité ; les longs contextes s'ajoutent au total.