Roda Local

Modelos / Gemma 3

Gemma 3 12B

Bom português e visão. Escolha segura para placas de 12 GB.

Parâmetros
12.2B
Contexto máximo
128K
Placa mínima
11 GB de VRAM
Mac mínimo
16 GB

Google · licença gemma · mínimos com Q4_K_M e 8K de contexto

Rodar no Ollama

  • Q4_K_M
    ollama run gemma3:12b
  • Q8_0
    ollama run gemma3:12b-it-q8_0
  • FP16
    ollama run gemma3:12b-it-fp16

Quanta memória precisa

Total com pesos, KV cache, visão e runtime, por quantização e contexto.

Quantização4K8K32K128K
Q4_K_M9,1 GB9,4 GB11,6 GB20 GB
Q5_K_M10,3 GB10,7 GB12,8 GB21,2 GB
Q8_014,5 GB14,9 GB17 GB25,4 GB
FP1625,8 GB26,1 GB28,2 GB36,7 GB

Placas que rodam

Macs

  • M5a partir de 16 GB · ≈ 15 tok/s
  • M5 Proa partir de 24 GB · ≈ 29 tok/s
  • M5 Maxa partir de 36 GB · ≈ 35 tok/s
  • M4a partir de 16 GB · ≈ 11 tok/s
  • M4 Proa partir de 24 GB · ≈ 26 tok/s
  • M4 Maxa partir de 36 GB · ≈ 31 tok/s

Arquitetura

  • 48 camadas, 8 cabeças de KV de 256 dimensões.
  • 40 camadas olham só os últimos 1.024 tokens; 8 guardam o contexto inteiro.

Fontes: config.json · arquivo de pesos · atualizado em 16/10/2026

Mesma família

Gemma 3 4B · Gemma 3 27B · Gemma 3 Gaia PT-BR 4B