Die besten lokalen KI-Modelle für 32 GB VRAM

37 offene Modelle passen bei Q4_K_M mit 8K Kontext in 32 GB Grafikspeicher; 15 davon haben eine unabhängige Intelligenzbewertung. Hier sind sie gerankt, mit dem längsten Kontext, den jedes schafft.

Die besten Wahlen für 32 GB

#1 · ECI 149,4

Qwen3.8 27B

Speicher: 17 GB
Max. Kontext: 128K
Tempo: ~66 t/s

#2 · ECI 146,5

Qwen3.6 27B

Speicher: 16,5 GB
Max. Kontext: 128K
Tempo: ~69 t/s

#3 · ECI 143,9

Qwen3.6 35B A3B

Speicher: 21,2 GB
Max. Kontext: 256K
Tempo: ~604 t/s

Tempo auf RTX 5090, der neuesten NVIDIA-Karte mit so viel Speicher. Max. Kontext ist der längste, der noch ohne Auslagern in den RAM lädt.

Alle bewerteten Modelle, die in 32 GB passen

#	Modell	ECI	Speicher	Max. Kontext	Tempo
1	Qwen3.8 27B	149,4	17 GB	128K	~66 t/s
2	Qwen3.6 27B	146,5	16,5 GB	128K	~69 t/s
3	Qwen3.6 35B A3B	143,9	21,2 GB	256K	~604 t/s
4	Gemma 4 31B	142,7	18,8 GB	128K	~60 t/s
5	Qwen3.5 35B A3B	142,5	21 GB	256K	~611 t/s
6	Gemma 4 26B A4B	141,9	16,5 GB	256K	~419 t/s
7	Qwen3 30B A3B Thinking 2507	139,6	18,3 GB	128K	~487 t/s
8	Qwen3.5 9B	139,5	5,8 GB	256K	~202 t/s
9	gpt-oss 20b	137,8	11,3 GB	128K	~558 t/s
10	Qwen3 30B A3B 2507	137,4	18,3 GB	128K	~487 t/s
11	Magistral Small 2506	133,2	14,9 GB	32K	~78 t/s
12	Mistral Small 3.2 24B	131,7	14,9 GB	64K	~78 t/s
13	Magistral Small 2509	131,4	14,9 GB	64K	~78 t/s
14	Phi-4 14B	130,4	10,1 GB	16K	~121 t/s
15	Llama 3.1 8B	116,6	5,9 GB	128K	~215 t/s