Die besten lokalen KI-Modelle für 12 GB VRAM

18 offene Modelle passen bei Q4_K_M mit 8K Kontext in 12 GB Grafikspeicher; 3 davon haben eine unabhängige Intelligenzbewertung. Hier sind sie gerankt, mit dem längsten Kontext, den jedes schafft.

Die besten Wahlen für 12 GB

#1 · ECI 139,5

Qwen3.5 9B

Speicher: 5,8 GB
Max. Kontext: 128K
Tempo: ~76 t/s

#2 · ECI 130,4

Phi-4 14B

Speicher: 10,1 GB
Max. Kontext: 8K
Tempo: ~45 t/s

#3 · ECI 116,6

Llama 3.1 8B

Speicher: 5,9 GB
Max. Kontext: 32K
Tempo: ~81 t/s

Tempo auf RTX 5070, der neuesten NVIDIA-Karte mit so viel Speicher. Max. Kontext ist der längste, der noch ohne Auslagern in den RAM lädt.

Alle bewerteten Modelle, die in 12 GB passen

#	Modell	ECI	Speicher	Max. Kontext	Tempo
1	Qwen3.5 9B	139,5	5,8 GB	128K	~76 t/s
2	Phi-4 14B	130,4	10,1 GB	8K	~45 t/s
3	Llama 3.1 8B	116,6	5,9 GB	32K	~81 t/s

15 weitere, die passen, aber noch keine unabhängige Bewertung haben

Größte zuerst, mit dem längsten Kontext, den jedes schafft.

Speicher bei Q4_K_M mit 8K Kontext, inklusive der Puffer der Software. Kleinere Quantisierung braucht weniger, längerer Kontext mehr.

Was 16 GB dazu bringen

4 weitere bewertete Modelle passen in 16 GB; die intelligentesten davon unten.

Zum 16-GB-Ratgeber

Die besten Wahlen für 12 GB

Alle bewerteten Modelle, die in 12 GB passen

15 weitere, die passen, aber noch keine unabhängige Bewertung haben

Was 16 GB dazu bringen

Geräte mit 12 GB