Die besten lokalen KI-Modelle für 16 GB VRAM

23 offene Modelle passen bei Q4_K_M mit 8K Kontext in 16 GB Grafikspeicher; 7 davon haben eine unabhängige Intelligenzbewertung. Hier sind sie gerankt, mit dem längsten Kontext, den jedes schafft.

Die besten Wahlen für 16 GB

#1 · ECI 139,5

Qwen3.5 9B

Speicher: 5,8 GB
Max. Kontext: 256K
Tempo: ~108 t/s

#2 · ECI 137,8

gpt-oss 20b

Speicher: 11,3 GB
Max. Kontext: 128K
Tempo: ~299 t/s

#3 · ECI 133,2

Magistral Small 2506

Speicher: 14,9 GB
Max. Kontext: 8K
Tempo: ~42 t/s

Tempo auf RTX 5080, der neuesten NVIDIA-Karte mit so viel Speicher. Max. Kontext ist der längste, der noch ohne Auslagern in den RAM lädt.

Alle bewerteten Modelle, die in 16 GB passen

#	Modell	ECI	Speicher	Max. Kontext	Tempo
1	Qwen3.5 9B	139,5	5,8 GB	256K	~108 t/s
2	gpt-oss 20b	137,8	11,3 GB	128K	~299 t/s
3	Magistral Small 2506	133,2	14,9 GB	8K	~42 t/s
4	Mistral Small 3.2 24B	131,7	14,9 GB	8K	~42 t/s
5	Magistral Small 2509	131,4	14,9 GB	8K	~42 t/s
6	Phi-4 14B	130,4	10,1 GB	16K	~65 t/s
7	Llama 3.1 8B	116,6	5,9 GB	64K	~115 t/s