Zum Inhalt

M2 Ultra vs RTX 3080 Ti für lokale KI

M2 Ultra führt 39 von 74 offenen Modellen gut aus, RTX 3080 Ti schafft 18. Hier ist jedes Modell auf beiden, mit Note und Tempo.

Führt mehr Modelle gut aus (Note B oder besser)

M2 Ultra

M2 Ultra: 39 · RTX 3080 Ti: 18

Schneller bei Modellen, die beide ausführen

RTX 3080 Ti · ×1,4

Medianes Tempoverhältnis über 18 Modelle, die beide vollständig im Speicher laden.

Die wichtigen Daten

M2 Ultra RTX 3080 Ti
Verglichener Speicher64 GB (Basiskonfiguration)12 GB
Speicherbandbreite800 GB/s912.4 GB/s
SpeichertypUnified (mit dem System geteilt)Eigener VRAM
BackendMetalCUDA
Erschienen20232021

Jedes Modell auf beiden

Note und Ausgabetempo bei Q4_K_M mit 8K Kontext; Grün markiert das bessere der beiden.

ModellECIM2 UltraRTX 3080 Ti
moonshotKimi K3157F—F—
deepseekDeepSeek V4 Pro 0813155F—F—
deepseekDeepSeek V4.1 Flash155F—F—
deepseekDeepSeek V4 Flash 0731154F—F—
zaiGLM 5.3 Flash152F—F—
zaiGLM 5.2152F—F—
moonshotKimi K2.6151F—F—
tInkling Small150F—F—
moonshotKimi K2.7 Code150F—F—
zaiGLM 5.1150F—F—
qwenQwen3.8 27B149A~34 t/sC~7 t/s
deepseekDeepSeek V4 Pro149F—F—
tInkling149F—F—
moonshotKimi K2.5148F—F—
minimaxMiniMax M3147F—F—
minimaxMiniMax M2.5147F—F—
qwenQwen3.5 397B A17B147F—F—
qwenQwen3.6 27B147A~35 t/sC~8 t/s
deepseekDeepSeek V3.2146F—F—
nvidiaNemotron 3 Ultra 550B A55B146F—F—
deepseekDeepSeek V4 Flash146F—F—
moonshotKimi K2 Thinking146F—F—
minimaxMiniMax M2.7146F—F—
zaiGLM 5146F—F—
deepseekDeepSeek V3.2 Exp145F—F—
qwenQwen3.6 35B A3B144S~126 t/sC~49 t/s
qwenQwen3 235B A22B Thinking 2507144F—F—
zaiGLM 4.7144F—F—
googleGemma 4 31B143A~32 t/sC~6 t/s
qwenQwen3.5 35B A3B143S~126 t/sC~50 t/s
googleGemma 4 26B A4B142S~110 t/sC~46 t/s
mistralMistral Medium 3.5 128B141F—F—
moonshotKimi K2140F—F—
openaigpt-oss 120b140F—F—
deepseekDeepSeek V3.1140F—F—
qwenQwen3 30B A3B Thinking 2507140S~116 t/sC~46 t/s
qwenQwen3.5 9B139S~76 t/sS~103 t/s
qwenQwen3 235B A22B 2507139F—F—
openaigpt-oss 20b138S~122 t/sC~218 t/s
qwenQwen3 30B A3B 2507137S~116 t/sC~46 t/s
mistralMagistral Small 2506133A~39 t/sC~10 t/s
mistralMistral Small 3.2 24B132A~39 t/sC~10 t/s
mistralMagistral Small 2509131A~39 t/sC~10 t/s
microsoftPhi-4 14B130S~54 t/sB~61 t/s
metaLlama 4 Scout 17B 16E130F—F—
metaLlama 3.3 70B127B~16 t/sF—
metaLlama 3.1 8B117S~79 t/sS~110 t/s
cohereCommand A+—F—F—
qwenQwen3.8 Flash Next—F—F—
qwenQwen3.5 122B A10B—F—F—
mistralMistral Small 4 119B—F—F—
qwenQwen3 Coder Next—B~126 t/sF—
moonshotKimi Linear 48B A3B—S~127 t/sC~42 t/s
ai2Olmo 3.1 32B Think—A~30 t/sC~5 t/s
nvidiaNemotron 3.5 Lightning 30B A3B—S~116 t/sC~35 t/s
zaiGLM 4.7 Flash—S~125 t/sC~59 t/s
cohereNorth Mini Code 1.0—S~119 t/sC~50 t/s
ibmGranite 4.2 30B—A~32 t/sC~6 t/s
mistralDevstral Small 2 24B—A~39 t/sC~10 t/s
mistralMinistral 3 14B—S~58 t/sB~67 t/s
googleGemma 4 12B—S~65 t/sS~79 t/s
mistralMinistral 3 8B—S~76 t/sS~104 t/s
ibmGranite 4.2 8B—S~73 t/sS~96 t/s
googleGemma 4 E4B—S~82 t/sS~118 t/s
ai2Olmo 3 7B—S~70 t/sS~90 t/s
googleGemma 4 E2B—S~104 t/sS~190 t/s
qwenQwen3.5 4B—S~109 t/sS~208 t/s
mistralMinistral 3 3B—S~113 t/sS~231 t/s
ibmGranite 4.2 3B—S~112 t/sS~225 t/s
metaLlama 3.2 3B—S~115 t/sS~240 t/s
huggingfaceSmolLM3 3B—S~120 t/sS~270 t/s
liquidLFM2.5 2.6B—S~130 t/sS~341 t/s
qwenQwen3.5 2B—S~140 t/sS~449 t/s
qwenQwen3.5 0.8B—S~163 t/sS~1.026 t/s

Schätzungen aus veröffentlichten Daten und Messungen, je Backend kalibriert. Treiber, Einstellungen und Software ändern die echten Werte.

Speicher, Kontext oder Quantisierung ändernDiesen Vergleich im interaktiven Werkzeug öffnen.