Kleinere Alternativen
Modelle, die weniger Speicher als Qwen3 235B A22B 2507 brauchen und etwa gleich gut oder besser abschneiden.
Qwen3 235B A22B Instruct 2507
MoE
Qwen · 235,1B (22B aktiv) · Mixture of Experts
Qwen3 235B A22B Instruct 2507 ist ein 235,1B-Modell von Qwen mit 256K Token Kontext. In Q4_K_M mit 8K Kontext braucht es etwa 134,2 GB; mit 169 GB bleibt Luft für lange Chats.
Mixture of Experts
Parameter: 235,1B · Aktiv: 22B
Alle 235,1B Parameter liegen im Speicher, aber nur 22B arbeiten pro Token – es läuft also so schnell wie ein viel kleineres Modell.
Quantisierungsoptionen
| Quant. | Bits | Speicher | Qualität | Auf deiner Hardware |
|---|---|---|---|---|
| Q2_K | 3,16 | — | Spürbar schlechter | … |
| Q3_K_M | 4 | — | Etwas Verlust | … |
| Q4_K_M | 4,89 | — | Gut | … |
| Q5_K_M | 5,7 | — | Gut | … |
| Q6_K | 6,56 | — | Fast original | … |
| Q8_0 | 8,5 | — | Fast original | … |
| F16 | 16 | — | Original | … |
Speicher nach Kontextlänge
In Q4_K_M. Der Kontext-Cache wächst mit jedem Token, das das Modell im Blick behält.
| Kontext | Kontext-Cache | Gesamt |
|---|---|---|
| 4K | 0,7 GB | 133,4 GB |
| 8K | 1,5 GB | 134,2 GB |
| 32K | 5,9 GB | 138,6 GB |
| 128K | 23,5 GB | 156,2 GB |
| 256K | 47 GB | 179,7 GB |
Nächste Schritte
Vergleiche es mit
Bewertete Modelle ähnlicher Größe, nebeneinander auf deinem Gerät.
Die kleinste Hardware, auf der es gut läuft
Desktop-Geräte mit dem wenigsten Speicher, die Qwen3 235B A22B 2507 bei Q4_K_M Note A oder S geben.
Kann ich Qwen3 235B A22B Instruct 2507 lokal ausführen?
Kann ich Qwen3 235B A22B Instruct 2507 lokal ausführen?
Ja, wenn deine GPU oder dein Mac in Q4_K_M etwa 134,2 GB frei hat. Öffne diese Seite auf dem Rechner, um die Note für deine Hardware zu sehen, und starte es mit llama.cpp, Ollama oder LM Studio.
Wie viel Speicher braucht Qwen3 235B A22B Instruct 2507?
Etwa 134,2 GB in Q4_K_M mit 8K Kontext und 234,5 GB in Q8_0. Niedrigere Quantisierungen passen auf kleinere Karten, mit etwas Qualitätsverlust; längerer Kontext kommt hinzu.