Kleinere Alternativen
Modelle, die weniger Speicher als Olmo 3 7B brauchen und etwa gleich gut oder besser abschneiden.
Olmo 3 7B Instruct
Allen Institute for AI · 7,3B · Dense
Olmo 3 7B Instruct ist ein 7,3B-Modell von Allen Institute for AI mit 64K Token Kontext. In Q4_K_M mit 8K Kontext braucht es etwa 7 GB; mit 10 GB bleibt Luft für lange Chats.
Quantisierungsoptionen
| Quant. | Bits | Speicher | Qualität | Auf deiner Hardware |
|---|---|---|---|---|
| Q2_K | 3,16 | — | Spürbar schlechter | … |
| Q3_K_M | 4 | — | Etwas Verlust | … |
| Q4_K_M | 4,89 | — | Gut | … |
| Q5_K_M | 5,7 | — | Gut | … |
| Q6_K | 6,56 | — | Fast original | … |
| Q8_0 | 8,5 | — | Fast original | … |
| F16 | 16 | — | Original | … |
Speicher nach Kontextlänge
In Q4_K_M. Der Kontext-Cache wächst mit jedem Token, das das Modell im Blick behält.
| Kontext | Kontext-Cache | Gesamt |
|---|---|---|
| 4K | 2 GB | 6,5 GB |
| 8K | 2,5 GB | 7 GB |
| 32K | 5,5 GB | 10 GB |
Nächste Schritte
Vergleiche es mit
Bewertete Modelle ähnlicher Größe, nebeneinander auf deinem Gerät.
Die kleinste Hardware, auf der es gut läuft
Desktop-Geräte mit dem wenigsten Speicher, die Olmo 3 7B bei Q4_K_M Note A oder S geben.
Kann ich Olmo 3 7B Instruct lokal ausführen?
Kann ich Olmo 3 7B Instruct lokal ausführen?
Ja, wenn deine GPU oder dein Mac in Q4_K_M etwa 7 GB frei hat. Öffne diese Seite auf dem Rechner, um die Note für deine Hardware zu sehen, und starte es mit llama.cpp, Ollama oder LM Studio.
Wie viel Speicher braucht Olmo 3 7B Instruct?
Etwa 7 GB in Q4_K_M mit 8K Kontext und 10 GB in Q8_0. Niedrigere Quantisierungen passen auf kleinere Karten, mit etwas Qualitätsverlust; längerer Kontext kommt hinzu.