Kleinere Alternativen
Modelle, die weniger Speicher als Nemotron 3 Ultra 550B A55B brauchen und etwa gleich gut oder besser abschneiden.
Nemotron 3 Ultra 550B A55B
MoE
NVIDIA · 560,5B (55B aktiv) · Mixture of Experts
Nemotron 3 Ultra 550B A55B ist ein 560,5B-Modell von NVIDIA mit 256K Token Kontext. In Q4_K_M mit 8K Kontext braucht es etwa 321,8 GB; mit 404 GB bleibt Luft für lange Chats.
Mixture of Experts
Parameter: 560,5B · Aktiv: 55B
Alle 560,5B Parameter liegen im Speicher, aber nur 55B arbeiten pro Token – es läuft also so schnell wie ein viel kleineres Modell.
Quantisierungsoptionen
| Quant. | Bits | Speicher | Qualität | Auf deiner Hardware |
|---|---|---|---|---|
| Q2_K | 3,16 | — | Spürbar schlechter | … |
| Q3_K_M | 4 | — | Etwas Verlust | … |
| Q4_K_M | 4,89 | — | Gut | … |
| Q5_K_M | 5,7 | — | Gut | … |
| Q6_K | 6,56 | — | Fast original | … |
| Q8_0 | 8,5 | — | Fast original | … |
| F16 | 16 | — | Original | … |
Speicher nach Kontextlänge
In Q4_K_M. Der Kontext-Cache wächst mit jedem Token, das das Modell im Blick behält.
| Kontext | Kontext-Cache | Gesamt |
|---|---|---|
| 4K | 0 GB | 321,8 GB |
| 8K | 0,1 GB | 321,8 GB |
| 32K | 0,4 GB | 322,1 GB |
| 128K | 1,5 GB | 323,2 GB |
| 256K | 3 GB | 324,7 GB |
Nächste Schritte
Vergleiche es mit
Bewertete Modelle ähnlicher Größe, nebeneinander auf deinem Gerät.
Die kleinste Hardware, auf der es gut läuft
Desktop-Geräte mit dem wenigsten Speicher, die Nemotron 3 Ultra 550B A55B bei Q4_K_M Note A oder S geben.
Kein Desktop-Gerät in unserem Katalog erreicht damit Note A oder besser.
Kann ich Nemotron 3 Ultra 550B A55B lokal ausführen?
Kann ich Nemotron 3 Ultra 550B A55B lokal ausführen?
Ja, wenn deine GPU oder dein Mac in Q4_K_M etwa 321,8 GB frei hat. Öffne diese Seite auf dem Rechner, um die Note für deine Hardware zu sehen, und starte es mit llama.cpp, Ollama oder LM Studio.
Wie viel Speicher braucht Nemotron 3 Ultra 550B A55B?
Etwa 321,8 GB in Q4_K_M mit 8K Kontext und 544,5 GB in Q8_0. Niedrigere Quantisierungen passen auf kleinere Karten, mit etwas Qualitätsverlust; längerer Kontext kommt hinzu.