Die besten lokalen KI-Modelle für 24 GB VRAM

35 offene Modelle passen bei Q4_K_M mit 8K Kontext in 24 GB Grafikspeicher; 15 davon haben eine unabhängige Intelligenzbewertung. Hier sind sie gerankt, mit dem längsten Kontext, den jedes schafft.

Die besten Wahlen für 24 GB

#1 · ECI 149,4

Qwen3.8 27B

Speicher: 17 GB
Max. Kontext: 64K
Tempo: ~37 t/s

#2 · ECI 146,5

Qwen3.6 27B

Speicher: 16,5 GB
Max. Kontext: 64K
Tempo: ~39 t/s

#3 · ECI 143,9

Qwen3.6 35B A3B

Speicher: 21,2 GB
Max. Kontext: 64K
Tempo: ~340 t/s

Tempo auf RTX 3090 Ti, der neuesten NVIDIA-Karte mit so viel Speicher. Max. Kontext ist der längste, der noch ohne Auslagern in den RAM lädt.

Alle bewerteten Modelle, die in 24 GB passen

#	Modell	ECI	Speicher	Max. Kontext	Tempo
1	Qwen3.8 27B	149,4	17 GB	64K	~37 t/s
2	Qwen3.6 27B	146,5	16,5 GB	64K	~39 t/s
3	Qwen3.6 35B A3B	143,9	21,2 GB	64K	~340 t/s
4	Gemma 4 31B	142,7	18,8 GB	32K	~34 t/s
5	Qwen3.5 35B A3B	142,5	21 GB	64K	~344 t/s
6	Gemma 4 26B A4B	141,9	16,5 GB	256K	~236 t/s
7	Qwen3 30B A3B Thinking 2507	139,6	18,3 GB	32K	~274 t/s
8	Qwen3.5 9B	139,5	5,8 GB	256K	~114 t/s
9	gpt-oss 20b	137,8	11,3 GB	128K	~314 t/s
10	Qwen3 30B A3B 2507	137,4	18,3 GB	32K	~274 t/s
11	Magistral Small 2506	133,2	14,9 GB	32K	~44 t/s
12	Mistral Small 3.2 24B	131,7	14,9 GB	32K	~44 t/s
13	Magistral Small 2509	131,4	14,9 GB	32K	~44 t/s
14	Phi-4 14B	130,4	10,1 GB	16K	~68 t/s
15	Llama 3.1 8B	116,6	5,9 GB	128K	~121 t/s