Los mejores modelos de IA en local para 12 GB de VRAM

18 modelos abiertos caben en 12 GB de memoria gráfica en Q4_K_M con contexto de 8K; 3 tienen puntuación de inteligencia independiente. Aquí están clasificados, con el contexto más largo que admite cada uno.

Las mejores elecciones para 12 GB

#1 · ECI 139,5

Qwen3.5 9B

Memoria: 5,8 GB
Contexto máx.: 128K
Velocidad: ~76 t/s

#2 · ECI 130,4

Phi-4 14B

Memoria: 10,1 GB
Contexto máx.: 8K
Velocidad: ~45 t/s

#3 · ECI 116,6

Llama 3.1 8B

Memoria: 5,9 GB
Contexto máx.: 32K
Velocidad: ~81 t/s

Velocidades en RTX 5070, la tarjeta NVIDIA más reciente con esta memoria. El contexto máximo es el más largo que aún carga sin desbordar a la RAM.

Todos los modelos puntuados que caben en 12 GB

#	Modelo	ECI	Memoria	Contexto máx.	Velocidad
1	Qwen3.5 9B	139,5	5,8 GB	128K	~76 t/s
2	Phi-4 14B	130,4	10,1 GB	8K	~45 t/s
3	Llama 3.1 8B	116,6	5,9 GB	32K	~81 t/s

15 más que caben pero aún no tienen puntuación independiente

Los más grandes primero, con el contexto más largo que admite cada uno.

Memoria en Q4_K_M con contexto de 8K, incluidos los búferes del propio programa. Una cuantización menor cabe en menos; un contexto más largo necesita más.