Roda Local

Modelos / Llama

Llama 4 Scout

MoE com 16 especialistas e 17B ativos por token. Pesado na memória, mas rápido para o tamanho.

Parâmetros
108.6B (17B ativos)
Contexto máximo
10240K
Placa mínima
mais de 48 GB
Mac mínimo
96 GB

Meta · licença other · mínimos com Q4_K_M e 8K de contexto

Rodar no Ollama

  • Q4_K_M
    ollama run llama4:16x17b
  • Q8_0
    ollama run llama4:17b-scout-16e-instruct-q8_0
  • FP16
    ollama run llama4:17b-scout-16e-instruct-fp16

Quanta memória precisa

Total com pesos, KV cache e runtime, por quantização e contexto.

Quantização4K8K32K128K
Q4_K_M69 GB69,9 GB71,6 GB78,4 GB
Q5_K_M80,2 GB81,1 GB82,8 GB89,6 GB
Q8_0119 GB119,9 GB121,6 GB128,3 GB
FP16222,9 GB223,8 GB225,5 GB232,3 GB

Placas que rodam

Nenhuma placa do catálogo roda este modelo sozinha. Veja os Macs abaixo.

Macs

  • M5não cabe nem com 32 GB
  • M5 Pronão cabe nem com 64 GB
  • M5 Maxa partir de 128 GB · ≈ 19 tok/s
  • M4não cabe nem com 32 GB
  • M4 Pronão cabe nem com 64 GB
  • M4 Maxa partir de 128 GB · ≈ 17 tok/s

Arquitetura

  • 48 camadas, 8 cabeças de KV de 128 dimensões.
  • 36 camadas olham só os últimos 8.192 tokens; 12 guardam o contexto inteiro.
  • MoE com 16 especialistas, 1 ativos por token.

Fontes: config.json · arquivo de pesos · atualizado em 16/10/2026

Mesma família

Llama 3.2 3B · Llama 3.1 8B · Llama 3.3 70B