Modelos / Gemma 4
Gemma 4 12B
Gemma 4 médio, com contexto de 256K que ocupa pouca memória.
- Parâmetros
- 12B
- Contexto máximo
- 256K
- Placa mínima
- 10 GB de VRAM
- Mac mínimo
- 16 GB
Google · licença apache-2.0 · mínimos com Q4_K_M e 8K de contexto
Rodar no Ollama
- Q4_K_M
ollama run gemma4:12b - Q8_0
ollama run gemma4:12b-it-q8_0 - FP16
ollama run gemma4:12b-it-bf16
Quanta memória precisa
Total com pesos, KV cache, visão e runtime, por quantização e contexto.
| Quantização | 4K | 8K | 32K | 128K |
|---|---|---|---|---|
| Q4_K_M | 8,3 GB | 8,5 GB | 9,3 GB | 12,8 GB |
| Q5_K_M | 9,6 GB | 9,7 GB | 10,6 GB | 14,1 GB |
| Q8_0 | 13,8 GB | 13,9 GB | 14,8 GB | 18,3 GB |
| FP16 | 25,2 GB | 25,3 GB | 26,2 GB | 29,7 GB |
Placas que rodam
- RTX 5070 12 GBRoda bem≈ 62 tok/s
- RTX 4070 Super 12 GBRoda bem≈ 46 tok/s
- RTX 4070 12 GBRoda bem≈ 46 tok/s
- RTX 3060 12 GB 12 GBRoda bem≈ 33 tok/s
- Radeon RX 7700 XT 12 GBRoda bem≈ 32 tok/s
- Arc B580 12 GBRoda bem≈ 31 tok/s
- RTX 5080 16 GBRoda bem≈ 88 tok/s
- RTX 5070 Ti 16 GBRoda bem≈ 83 tok/s
- RTX 4080 Super 16 GBRoda bem≈ 68 tok/s
- RTX 4070 Ti Super 16 GBRoda bem≈ 62 tok/s
- Radeon RX 9070 XT 16 GBRoda bem≈ 48 tok/s
- Radeon RX 9070 16 GBRoda bem≈ 48 tok/s
- Radeon RX 7800 XT 16 GBRoda bem≈ 46 tok/s
- RTX 5060 Ti 16 GB 16 GBRoda bem≈ 41 tok/s
- RTX 4060 Ti 16 GB 16 GBRoda bem≈ 27 tok/s
- Radeon RX 9060 XT 16 GB 16 GBRoda bem≈ 24 tok/s
- Radeon RX 7600 XT 16 GBRoda bem≈ 21 tok/s
- Radeon RX 7900 XT 20 GBRoda bem≈ 60 tok/s
- RTX 4090 24 GBRoda bem≈ 93 tok/s
- RTX 3090 24 GBRoda bem≈ 86 tok/s
- Radeon RX 7900 XTX 24 GBRoda bem≈ 72 tok/s
- RTX 5090 32 GBRoda bem≈ 165 tok/s
Macs
- M5a partir de 16 GB · ≈ 15 tok/s
- M5 Proa partir de 24 GB · ≈ 29 tok/s
- M5 Maxa partir de 36 GB · ≈ 34 tok/s
- M4a partir de 16 GB · ≈ 11 tok/s
- M4 Proa partir de 24 GB · ≈ 26 tok/s
- M4 Maxa partir de 36 GB · ≈ 31 tok/s
Arquitetura
- 48 camadas, 8 cabeças de KV de 256 dimensões.
- 40 camadas olham só os últimos 1.024 tokens; 8 guardam o contexto inteiro.
- As camadas globais usam 1 cabeças de 512 dimensões.
Fontes: config.json · arquivo de pesos · atualizado em 16/10/2026