Roda Local

Modelos / Mistral

Ministral 3 8B

Modelo compacto da Mistral, multimodal e com contexto de 256K.

Parâmetros
8.9B
Contexto máximo
256K
Placa mínima
10 GB de VRAM
Mac mínimo
16 GB

Mistral AI · licença apache-2.0 · mínimos com Q4_K_M e 8K de contexto

Rodar no Ollama

  • Q4_K_M
    ollama run ministral-3:8b
  • Q8_0
    ollama run ministral-3:8b-instruct-2512-q8_0
  • FP16
    ollama run ministral-3:8b-instruct-2512-fp16

Quanta memória precisa

Total com pesos, KV cache e runtime, por quantização e contexto.

Quantização4K8K32K128K
Q4_K_M7 GB7,6 GB11,6 GB27,4 GB
Q5_K_M8 GB8,6 GB12,6 GB28,5 GB
Q8_011,4 GB12,1 GB16,1 GB31,9 GB
FP1620,7 GB21,4 GB25,3 GB41,2 GB

Placas que rodam

Macs

  • M5a partir de 16 GB · ≈ 18 tok/s
  • M5 Proa partir de 24 GB · ≈ 36 tok/s
  • M5 Maxa partir de 36 GB · ≈ 42 tok/s
  • M4a partir de 16 GB · ≈ 14 tok/s
  • M4 Proa partir de 24 GB · ≈ 32 tok/s
  • M4 Maxa partir de 36 GB · ≈ 37 tok/s

Arquitetura

  • 34 camadas, 8 cabeças de KV de 128 dimensões.
  • Cada token de contexto ocupa cerca de 136 KB de KV cache em F16.

Fontes: config.json · arquivo de pesos · atualizado em 16/10/2026

Mesma família

Mistral Nemo 12B · Ministral 3 14B · Mistral Small 3.2 24B · Magistral Small 24B · Devstral Small 2 24B