Modelos / GLM
GLM-4.7 Flash
MoE de 30B com 3B ativos e cache MLA comprimido. Contexto longo cabe em pouca memória.
- Parâmetros
- 31.2B (3B ativos)
- Contexto máximo
- 198K
- Placa mínima
- 24 GB de VRAM
- Mac mínimo
- 32 GB
Zhipu AI · licença mit · mínimos com Q4_K_M e 8K de contexto
Rodar no Ollama
- Q4_K_M
ollama run glm-4.7-flash - Q8_0
ollama run glm-4.7-flash:q8_0 - FP16
ollama run glm-4.7-flash:bf16
Quanta memória precisa
Total com pesos, KV cache e runtime, por quantização e contexto.
| Quantização | 4K | 8K | 32K | 128K |
|---|---|---|---|---|
| Q4_K_M | 19,7 GB | 20 GB | 21,8 GB | 29,1 GB |
| Q5_K_M | 22,8 GB | 23,1 GB | 25 GB | 32,3 GB |
| Q8_0 | 33,8 GB | 34,1 GB | 35,9 GB | 43,2 GB |
| FP16 | 63,1 GB | 63,4 GB | 65,2 GB | 72,5 GB |
Placas que rodam
- RTX 4090 24 GBRoda bem≈ 225 tok/s
- RTX 3090 24 GBRoda bem≈ 209 tok/s
- Radeon RX 7900 XTX 24 GBRoda bem≈ 173 tok/s
- RTX 5090 32 GBRoda bem≈ 400 tok/s
Macs
- M5a partir de 32 GB · ≈ 35 tok/s
- M5 Proa partir de 48 GB · ≈ 71 tok/s
- M5 Maxa partir de 36 GB · ≈ 83 tok/s
- M4a partir de 32 GB · ≈ 28 tok/s
- M4 Proa partir de 48 GB · ≈ 63 tok/s
- M4 Maxa partir de 36 GB · ≈ 74 tok/s
Arquitetura
- 47 camadas, 20 cabeças de KV de 256 dimensões.
- Atenção MLA: o cache guarda um latente comprimido de 576 valores por camada.
- MoE com 64 especialistas, 4 ativos por token.
- Cada token de contexto ocupa cerca de 53 KB de KV cache em F16.
Fontes: config.json · arquivo de pesos · atualizado em 16/10/2026