Die besten lokalen KI-Modelle für 48 GB VRAM

39 offene Modelle passen bei Q4_K_M mit 8K Kontext in 48 GB Grafikspeicher; 16 davon haben eine unabhängige Intelligenzbewertung. Hier sind sie gerankt, mit dem längsten Kontext, den jedes schafft.

Die besten Wahlen für 48 GB

#1 · ECI 149,4

Qwen3.8 27B

Speicher: 17 GB
Max. Kontext: 256K
Tempo: ~28 t/s

#2 · ECI 146,5

Qwen3.6 27B

Speicher: 16,5 GB
Max. Kontext: 256K
Tempo: ~29 t/s

#3 · ECI 143,9

Qwen3.6 35B A3B

Speicher: 21,2 GB
Max. Kontext: 256K
Tempo: ~259 t/s

Tempo auf RTX A6000, der neuesten NVIDIA-Karte mit so viel Speicher. Max. Kontext ist der längste, der noch ohne Auslagern in den RAM lädt.

Alle bewerteten Modelle, die in 48 GB passen

#	Modell	ECI	Speicher	Max. Kontext	Tempo
1	Qwen3.8 27B	149,4	17 GB	256K	~28 t/s
2	Qwen3.6 27B	146,5	16,5 GB	256K	~29 t/s
3	Qwen3.6 35B A3B	143,9	21,2 GB	256K	~259 t/s
4	Gemma 4 31B	142,7	18,8 GB	256K	~26 t/s
5	Qwen3.5 35B A3B	142,5	21 GB	256K	~262 t/s
6	Gemma 4 26B A4B	141,9	16,5 GB	256K	~180 t/s
7	Qwen3 30B A3B Thinking 2507	139,6	18,3 GB	256K	~209 t/s
8	Qwen3.5 9B	139,5	5,8 GB	256K	~87 t/s
9	gpt-oss 20b	137,8	11,3 GB	128K	~239 t/s
10	Qwen3 30B A3B 2507	137,4	18,3 GB	256K	~209 t/s
11	Magistral Small 2506	133,2	14,9 GB	32K	~34 t/s
12	Mistral Small 3.2 24B	131,7	14,9 GB	128K	~34 t/s
13	Magistral Small 2509	131,4	14,9 GB	128K	~34 t/s
14	Phi-4 14B	130,4	10,1 GB	16K	~52 t/s
15	Llama 3.3 70B	127,3	42,4 GB	16K	~11 t/s
16	Llama 3.1 8B	116,6	5,9 GB	128K	~92 t/s