Kleinere Alternativen
Modelle, die weniger Speicher als SmolLM3 3B brauchen und etwa gleich gut oder besser abschneiden.
Kein bewertetes Modell ist zugleich kleiner und fast so intelligent wie SmolLM3 3B.
SmolLM3 3B
Hugging Face · 3,1B · Dense
SmolLM3 3B ist ein 3,1B-Modell von Hugging Face mit 64K Token Kontext. In Q4_K_M mit 8K Kontext braucht es etwa 2,6 GB; mit 5 GB bleibt Luft für lange Chats.
Quantisierungsoptionen
| Quant. | Bits | Speicher | Qualität | Auf deiner Hardware |
|---|---|---|---|---|
| Q2_K | 3,16 | — | Spürbar schlechter | … |
| Q3_K_M | 4 | — | Etwas Verlust | … |
| Q4_K_M | 4,89 | — | Gut | … |
| Q5_K_M | 5,7 | — | Gut | … |
| Q6_K | 6,56 | — | Fast original | … |
| Q8_0 | 8,5 | — | Fast original | … |
| F16 | 16 | — | Original | … |
Speicher nach Kontextlänge
In Q4_K_M. Der Kontext-Cache wächst mit jedem Token, das das Modell im Blick behält.
| Kontext | Kontext-Cache | Gesamt |
|---|---|---|
| 4K | 0,3 GB | 2,4 GB |
| 8K | 0,6 GB | 2,6 GB |
| 32K | 2,3 GB | 4,3 GB |
Nächste Schritte
Vergleiche es mit
Bewertete Modelle ähnlicher Größe, nebeneinander auf deinem Gerät.
Die kleinste Hardware, auf der es gut läuft
Desktop-Geräte mit dem wenigsten Speicher, die SmolLM3 3B bei Q4_K_M Note A oder S geben.
Kann ich SmolLM3 3B lokal ausführen?
Kann ich SmolLM3 3B lokal ausführen?
Ja, wenn deine GPU oder dein Mac in Q4_K_M etwa 2,6 GB frei hat. Öffne diese Seite auf dem Rechner, um die Note für deine Hardware zu sehen, und starte es mit llama.cpp, Ollama oder LM Studio.
Wie viel Speicher braucht SmolLM3 3B?
Etwa 2,6 GB in Q4_K_M mit 8K Kontext und 3,9 GB in Q8_0. Niedrigere Quantisierungen passen auf kleinere Karten, mit etwas Qualitätsverlust; längerer Kontext kommt hinzu.