Modelos / Mistral
Devstral Small 2 24B
Modelo de código da Mistral para agentes que editam repositórios.
- Parâmetros
- 24B
- Contexto máximo
- 384K
- Placa mínima
- 20 GB de VRAM
- Mac mínimo
- 24 GB
Mistral AI · licença apache-2.0 · mínimos com Q4_K_M e 8K de contexto
Rodar no Ollama
- Q4_K_M
ollama run devstral-small-2:24b - Q8_0
ollama run devstral-small-2:24b-instruct-2512-q8_0 - FP16
ollama run devstral-small-2:24b-instruct-2512-fp16
Quanta memória precisa
Total com pesos, KV cache e runtime, por quantização e contexto.
| Quantização | 4K | 8K | 32K | 128K |
|---|---|---|---|---|
| Q4_K_M | 16,3 GB | 17 GB | 21,6 GB | 40 GB |
| Q5_K_M | 18,8 GB | 19,6 GB | 24,2 GB | 42,5 GB |
| Q8_0 | 27,5 GB | 28,3 GB | 32,9 GB | 51,2 GB |
| FP16 | 50,9 GB | 51,7 GB | 56,3 GB | 74,6 GB |
Placas que rodam
- Radeon RX 7900 XT 20 GBRoda bem≈ 29 tok/s
- RTX 4090 24 GBRoda bem≈ 45 tok/s
- RTX 3090 24 GBRoda bem≈ 42 tok/s
- Radeon RX 7900 XTX 24 GBRoda bem≈ 35 tok/s
- RTX 5090 32 GBRoda bem≈ 80 tok/s
Macs
- M5a partir de 24 GB · ≈ 7,1 tok/s
- M5 Proa partir de 24 GB · ≈ 14 tok/s
- M5 Maxa partir de 36 GB · ≈ 17 tok/s
- M4a partir de 24 GB · ≈ 5,5 tok/s
- M4 Proa partir de 24 GB · ≈ 13 tok/s
- M4 Maxa partir de 36 GB · ≈ 15 tok/s
Arquitetura
- 40 camadas, 8 cabeças de KV de 128 dimensões.
- Cada token de contexto ocupa cerca de 160 KB de KV cache em F16.
Fontes: config.json · arquivo de pesos · atualizado em 16/10/2026
Mesma família
Mistral Nemo 12B · Ministral 3 8B · Ministral 3 14B · Mistral Small 3.2 24B · Magistral Small 24B