Aller au contenu

MiniMax M3

MoEVision

MiniMaxMiniMax · 427B (23B actifs) · Mélange d'experts

MiniMax M3 est un modèle de 427B de MiniMax avec un contexte de 1M tokens. En Q4_K_M avec 8K de contexte, il demande environ 244,6 Go ; 307 Go laissent de la marge pour les longues conversations.

Hugging Face GGUF

Mélange d'experts

Paramètres: 427B · Actifs: 23B

Les 427B paramètres sont chargés en mémoire, mais seuls 23B travaillent sur chaque token : il tourne à la vitesse d'un modèle bien plus petit.

Options de quantification

Quant.MémoireSur votre matériel
Q2_K—…
Q3_K_M—…
Q4_K_M—…
Q5_K_M—…
Q6_K—…
Q8_0—…
F16—…

Mémoire selon le contexte

En Q4_K_M. Le cache du contexte grandit à chaque token que le modèle garde en tête.

ContexteCache de contexteTotal
4K0,5 GB244,1 GB
8K0,9 GB244,6 GB
32K3,8 GB247,4 GB
128K15 GB258,6 GB
256K30 GB273,6 GB

Partager une vitesse mesurée

Lancez l’une de ces commandes et collez toute la sortie ci-dessous (ou seulement les tokens par seconde) :

llama-bench -m model.gguf
ollama run model --verbose

Publié anonymement et conservé. Aucun compte ni adresse stockés, seulement une empreinte qui change chaque jour pour limiter à dix envois par jour.

Pour aller plus loin

Le matériel minimal où il tourne bien

Les appareils de bureau avec le moins de mémoire qui donnent à MiniMax M3 la note A ou S en Q4_K_M.

Puis-je faire tourner MiniMax M3 en local ?

Puis-je faire tourner MiniMax M3 en local ?

Oui, si votre GPU ou votre Mac dispose d'environ 244,6 Go libres en Q4_K_M. Ouvrez cette page sur cet ordinateur pour voir la note de votre matériel, puis lancez-le avec llama.cpp, Ollama ou LM Studio.

De combien de mémoire MiniMax M3 a-t-il besoin ?

Environ 244,6 Go en Q4_K_M avec 8K de contexte et 422,9 Go en Q8_0. Les quantifications plus basses tiennent sur des cartes plus petites avec une perte de qualité ; les longs contextes s'ajoutent au total.