Roda Local

VRAM / 24 GB

Quais LLMs rodam com 24 GB de VRAM

Numa placa de 24 GB, 40 dos 44 modelos do catálogo cabem em Q4_K_M com 8K de contexto. Os maiores que rodam com folga: GLM-4.7 Flash, Qwen 3 30B-A3B e Qwen 3 Coder 30B-A3B.

A conta já desconta cerca de 1 GB para o sistema e o monitor. "Contexto máx." é o maior contexto que ainda cabe na placa.

Modelos que cabem

  • GLM-4.7 Flash
    ollama run glm-4.7-flash
    Roda bem20 GB32K de contexto
  • Qwen 3 30B-A3B
    ollama run qwen3:30b
    Roda bem19,9 GB32K de contexto
  • Qwen 3 Coder 30B-A3B
    ollama run qwen3-coder:30b
    Roda bem19,9 GB32K de contexto
  • Qwen 3.5 27B
    ollama run qwen3.5:27b
    Roda bem18,6 GB32K de contexto
  • Qwen 3.6 27B
    ollama run qwen3.6:27b
    Roda bem18,9 GB32K de contexto
  • Qwen 3.8 27B
    ollama run qwen3.8:27b
    Roda bem18,9 GB32K de contexto
  • Gemma 3 27B
    ollama run gemma3:27b
    Roda bem19 GB32K de contexto
  • Gemma 4 26B-A4B
    ollama run gemma4:26b
    Roda bem19,1 GB64K de contexto
  • Mistral Small 3.2 24B
    ollama run mistral-small3.2:24b
    Roda bem17 GB32K de contexto
  • Devstral Small 2 24B
    ollama run devstral-small-2:24b
    Roda bem17 GB32K de contexto
  • Magistral Small 24B
    ollama run magistral:24b
    Roda bem16,2 GB40K de contexto
  • gpt-oss 20B
    ollama run gpt-oss:20b
    Roda bem14,5 GB128K de contexto
  • Qwen 2.5 14B
    ollama run qwen2.5:14b
    Roda bem11,1 GB32K de contexto
  • Qwen 2.5 Coder 14B
    ollama run qwen2.5-coder:14b
    Roda bem11,1 GB32K de contexto
  • Qwen 3 14B
    ollama run qwen3:14b
    Roda bem11,1 GB40K de contexto
  • DeepSeek R1 14B
    ollama run deepseek-r1:14b
    Roda bem11,1 GB32K de contexto
  • Phi-4 14B
    ollama run phi4:14b
    Roda bem11,2 GB16K de contexto
  • Phi-4 Reasoning 14B
    ollama run phi4-reasoning:14b
    Roda bem13,3 GB32K de contexto
  • Ministral 3 14B
    ollama run ministral-3:14b
    Roda bem10,9 GB64K de contexto
  • Gemma 3 12B
    ollama run gemma3:12b
    Roda bem9,4 GB128K de contexto
  • Mistral Nemo 12B
    ollama run mistral-nemo:12b-instruct-2407-q4_K_M
    Roda bem9,5 GB64K de contexto
  • Gemma 4 12B
    ollama run gemma4:12b
    Roda bem8,5 GB256K de contexto
  • Qwen 3.5 9B
    ollama run qwen3.5:9b
    Roda bem7,3 GB256K de contexto
  • Ministral 3 8B
    ollama run ministral-3:8b
    Roda bem7,6 GB64K de contexto
  • Qwen 3 8B
    ollama run qwen3:8b
    Roda bem6,9 GB40K de contexto
  • DeepSeek R1 8B
    ollama run deepseek-r1:8b
    Roda bem6,9 GB64K de contexto
  • Llama 3.1 8B
    ollama run llama3.1:8b
    Roda bem6,5 GB64K de contexto
  • Gemma 4 E4B
    ollama run gemma4:e4b
    Roda bem7 GB128K de contexto
  • Qwen 2.5 7B
    ollama run qwen2.5:7b
    Roda bem5,6 GB32K de contexto
  • Qwen 2.5 Coder 7B
    ollama run qwen2.5-coder:7b
    Roda bem5,6 GB32K de contexto
  • Qwen 3.5 4B
    ollama run qwen3.5:4b
    Roda bem4 GB256K de contexto
  • Gemma 3 4B
    ollama run gemma3:4b
    Roda bem4 GB128K de contexto
  • Gemma 3 Gaia PT-BR 4B
    ollama run hf.co/mradermacher/Gemma-3-Gaia-PT-BR-4b-it-GGUF:Q4_K_M
    Roda bem3,2 GB128K de contexto
  • Qwen 3 4B
    ollama run qwen3:4b
    Roda bem4,2 GB64K de contexto
  • Phi-4 Mini 3.8B
    ollama run phi4-mini:3.8b
    Roda bem4 GB128K de contexto
  • Llama 3.2 3B
    ollama run llama3.2:3b
    Roda bem3,4 GB128K de contexto
  • Qwen 3.5 35B-A3B
    ollama run qwen3.5:35b-a3b
    Apertado22,8 GB8K de contexto
  • Qwen 3 32B
    ollama run qwen3:32b
    Apertado22,9 GB8K de contexto
  • DeepSeek R1 32B
    ollama run deepseek-r1:32b
    Apertado22,6 GB8K de contexto
  • Gemma 4 31B
    ollama run gemma4:31b
    Apertado21,8 GB16K de contexto

Placas com 24 GB

Mesma memória, velocidades diferentes. Estimativa com o Qwen 3 8B em Q4_K_M.

Não cabem em 24 GB

Qwen 3.6 35B-A3B, Llama 3.3 70B, gpt-oss 120B, Llama 4 Scout.

Num Mac, a mesma memória útil pede pelo menos 32 GB de memória unificada, porque o macOS libera cerca de 75% para a GPU. Veja os Macs ou use a calculadora para mudar contexto e quantização.

Outras memórias: 8 GB · 12 GB · 16 GB