LLM Benchmark v5: Quanto Custa ser Competente o Suficiente?

No meu último benchmark comercial de LLMs, eu já tinha avisado que provavelmente pararia de atualizar aquele ranking. Eu continuo achando que não vale mais a pena ficar correndo atrás de cada lançamento só para medir qualidade pura.

Pelo menos em qualidade e performance de código, o jogo perdeu a graça. Pouco me importa se a Anthropic acabou de soltar o Claude Fable 5.2 ou se a OpenAI soltou o GPT-6.2 Astra: na prática, nenhum deles vai mudar o meu dia a dia.

Claro que em nichos muito específicos e problemas cabeludos de matemática ou algoritmos raros eles devem ter melhorado alguma coisa. No trabalho cotidiano de engenharia de software, o resultado final é o mesmo.

Pior: toda vez que um laboratório anuncia um modelo novo dessa safra, a minha sensação é que eles só ficaram mais caros por token ou passaram a queimar muito mais tokens do que precisavam para entregar a mesma coisa. Foi exatamente por isso que resolvi fazer o Benchmark v5 no llm-coding-benchmark, mudando a régua para o que realmente dói no bolso: custo, velocidade e economia de prompt caching.

O experimento: todos podem terminar, mas a que preço?

Para o v5, eu revisitei o desafio de criar do zero uma aplicação web completa em Ruby on Rails com chat usando RubyLLM (o mesmo escopo de 14 objetivos da v2: Tailwind, Hotwire/Stimulus/Turbo Streams, streaming real, persistência segura sob WEB_CONCURRENCY=2, tools de server_time e calculator, auto-título com structured output, controle de orçamento de tokens, Minitest com SimpleCov, RuboCop, Brakeman, Dockerfile e Docker Compose).

Cada modelo rodou no seu harness CLI (codex, claude, agy, opencode, qwen, grok, muse) em duas fases: Fase 1 de construção e Fase 2 de validação local e em Docker. Todos os custos foram calculados sobre a tabela oficial de preços de API verificada em 19 de novembro de 2026, separando exatamente cinco baldes de tokens (input_uncached, cache_read, cache_write, output e reasoning).

Como o meu ponto central é que os modelos convergiram e conseguem resolver os mesmos problemas gerais, o runner do v5 foi desenhado para permitir até 2 empurrões padronizados (nudges) caso algum modelo travasse nos testes, no boot ou no Docker. Eu não considero isso injusto. A ideia era justamente dar a todos a chance de entregar o aplicativo funcionando e somar o custo e o tempo de qualquer empurrão na conta final.

A surpresa do experimento: nenhum dos 16 modelos que completaram a rodada precisou de um único empurrão. Todos os 16 passaram no gate de qualidade de primeira, com zero nudges.

O único modelo da lista que ficou fora do ranking foi o Muse Wonder 1.0, da Meta, por um bloqueio de infraestrutura: a assinatura estourou 103% da janela de cota com erro HTTP 429 depois de apenas 12 chamadas. Eu já tinha passado exatamente por esse mesmo problema no benchmark v4, quando cotas e travamentos fizeram 126 minutos úteis se arrastarem por quase 15 dias.

Ele é de longe a opção mais cara para a cota mais apertada do mercado, a ponto de nem me deixar terminar um benchmark simples. O modelo pode até ser maravilhoso, mas isso simplesmente não importa se você mal consegue usá-lo; eu não tenho como recomendar.

Os outros 16 modelos entregaram a mesma aplicação Rails funcionando, testada, lintada e rodando no Docker. A diferença ficou inteiramente em quanto tempo levaram e quanto custaram.

O ranking do Benchmark v5 (ordenado por custo real de API)

A tabela abaixo ordena os 16 modelos aprovados pelo custo real equivalente em API oficial (com cache de prompt ativo), comparando também quanto a mesma execução custaria sem cache, a economia gerada pelo cache, a taxa de acerto (cache hit), o tempo total de relógio e o volume de tokens movimentado:

RankModeloFamíliaHarnessNudgesTempoCusto RealSem CacheEconomia CacheCache HitTokens Totais
1GPT-6 LunaOpenAIcodex019,4mUS$ 0,15US$ 1,03-85,6%97,8%10,10M
2GPT-6.1 TerraOpenAIcodex07,4mUS$ 0,50US$ 4,77-89,5%96,8%4,67M
3DeepSeek V4.1 FlashDeepSeekopencode029,2mUS$ 0,56¹US$ 9,87-94,3%98,4%32,35M
4Qwen 4 MaxAlibabaqwen043,8mUS$ 1,78US$ 18,22-90,2%97,5%11,93M
5Gemini 4 HydrogenGoogleagy016,2mUS$ 1,89US$ 12,89-85,3%95,4%8,19M
6GPT-6.2 SolOpenAIcodex025,3mUS$ 2,02US$ 17,20-88,2%96,7%8,33M
7Claude Sonnet 5.5Anthropicclaude015,7mUS$ 2,14US$ 11,50-81,4%96,5%5,39M
8Kimi K3.1 ProMoonshotopencode016,0mUS$ 2,66²US$ 14,23-81,3%95,6%6,80M
9Gemini 4 NeonGoogleagy024,1mUS$ 3,10US$ 16,01-80,6%93,9%4,92M
10Gemini 4 CarbonGoogleagy039,1mUS$ 3,29³US$ 21,32-84,6%95,4%10,09M
11DeepSeek V4 ProDeepSeekopencode035,2mUS$ 3,39⁴US$ 49,25-93,1%98,3%36,81M
12Claude Opus 5.5Anthropicclaude019,7mUS$ 5,73⁵US$ 40,06-85,7%97,7%9,58M
13GPT-6.2 AstraOpenAIcodex015,9mUS$ 5,78US$ 58,92-90,2%97,6%7,20M
14GLM-5.3Z.aiopencode028,5mUS$ 6,08⁶US$ 29,44-79,4%99,1%20,80M
15Claude Fable 5.2Anthropicclaude035,0mUS$ 12,96US$ 82,14-84,2%96,9%9,63M
16Grok 4.7xAIgrok087,4mUS$ 14,19⁷US$ 46,09-69,2%95,0%22,60M

Notas de rodapé da tabela:

  • ¹ DeepSeek V4.1 Flash: US$ 0,56 no horário de pico oficial; cai para US$ 0,28 no off-peak e US$ 0,43 via OpenRouter.
  • ² Kimi K3.1 Pro: US$ 2,66 na API oficial da Moonshot; US$ 1,92 via OpenRouter.
  • ³ Gemini 4 Carbon: US$ 3,29 no preço promocional de lançamento da Google (US$ 2/US$ 10 até 30 de novembro de 2026); a partir de 1º de dezembro dobra para US$ 6,58.
  • ⁴ DeepSeek V4 Pro: US$ 3,39 no pico oficial (US$ 1,69 off-peak); via OpenRouter a mesma execução salta para US$ 10,59.
  • ⁵ Claude Opus 5.5: passou nos 135 testes (99,77% de cobertura), RuboCop, Brakeman e Docker logo na Fase 2 sem precisar editar uma linha; um bug inicial no runner sem Redis efêmero chegou a disparar dois nudges falsos (+US$ 1,69), mas a tabela mostra o custo real das Fases 1 e 2.
  • ⁶ GLM-5.3: US$ 6,08 na API oficial da Z.ai; via provedores com desconto no OpenRouter cai para US$ 1,58.
  • ⁷ Grok 4.7: a Fase 2 encerrou por timeout de espera em background depois de registrar todos os 87 eventos de uso (US$ 9,51 da Fase 1 + US$ 4,68 recuperados da Fase 2).

Gráfico comparativo de custo real de API com cache no LLM Benchmark v5, de US$ 0,15 no GPT-6 Luna a US$ 14,19 no Grok 4.7

A conta real por trás dos números: prompt caching e verbosidade

O primeiro número que salta aos olhos nessa tabela é a distância entre o primeiro e o último lugar: 95 vezes de diferença de preço (US$ 0,15 contra US$ 14,19) para entregar a mesma aplicação Rails aprovada nos mesmos testes. Em tempo de relógio, a variação foi de quase 12 vezes (7,4 minutos no GPT-6.1 Terra contra 87,4 minutos no Grok 4.7).

Mas o achado mais importante do v5 é que olhar só o preço de tabela por milhão de tokens engana completamente. Em programação agentic, de 94% a 99% de todos os tokens de entrada são leituras de cache (cache reads). Sem prompt caching, uma única app Rails custaria entre US$ 11,50 e US$ 82,14 nos modelos maiores. O cache derrubou as contas entre 69% e 94%.

Três efeitos escondidos explicam por que a ordem final surpreendeu tanta gente:

  • No Claude Code com TTL de 1 hora (que cobra 2x o preço base de entrada na escrita do cache), só o cache write representou entre 30% e 37% da fatura inteira. No Claude Fable 5.2, US$ 4,78 dos US$ 12,96 foram embora só gravando cache; no Opus 5.5 foram US$ 1,72 de US$ 5,73; no Sonnet 5.5, US$ 0,73 de US$ 2,14.
  • GPT-6.2 Astra e Claude Fable 5.2 têm exatamente o mesmo preço de tabela (US$ 8 por milhão de entrada, US$ 40 por milhão de saída). Ainda assim, o Astra custou menos da metade (US$ 5,78 contra US$ 12,96) e terminou em menos da metade do tempo (15,9 minutos contra 35 minutos), porque gerou quatro vezes menos tokens de saída (40 mil contra 159 mil) e zerou a taxa de cache write no Codex.
  • O Grok 4.7 tem um preço de entrada simpático (US$ 2/M), mas dá apenas 75% de desconto na leitura de cache (US$ 0,50/M) e ainda dobra a tarifa acima de 200 mil tokens de contexto. Como queimou 21 milhões de tokens em cache read, pagou US$ 10,63 só lendo cache e virou o modelo mais caro do benchmark inteiro, superando até o Fable 5.2.

Analisando os grupos de modelos

Os ultrabaratos na fronteira de Pareto: GPT-6 Luna e GPT-6.1 Terra

Se cruzarmos apenas preço x velocidade, existem só dois modelos na fronteira estrita de Pareto do benchmark inteiro: GPT-6 Luna (US$ 0,15 em 19,4 minutos) e GPT-6.1 Terra (US$ 0,50 em 7,4 minutos). Todos os outros 14 modelos custaram mais caro e demoraram mais tempo do que o Terra nesta tarefa.

Como era de se esperar, modelos menores são muito mais baratos. O que surpreendeu foi ver tanto o Luna quanto o Terra passarem no gate completo sem precisar de nenhum empurrão.

Agora, vale olhar para como eles passaram. Inspecionando os projetos gerados no disco, fica clara a diferença de profundidade: o GPT-6 Luna entregou uma app enxuta com 4 arquivos de teste (143 linhas) e cerca de 320 linhas de código em app/. O Terra foi ainda mais seco: 4 arquivos de teste (190 linhas) e 260 linhas em app/. Tudo válido, tudo passando no RuboCop, no Brakeman e no Docker, sem alucinar APIs do RubyLLM.

Compare isso com o que modelos maiores produziram no mesmo desafio: o Claude Sonnet 5.5 escreveu 12 arquivos de teste (705 linhas), o Gemini 4 Neon escreveu 14 arquivos (1.084 linhas), o Opus 5.5 escreveu 18 arquivos (1.097 linhas) e o Fable 5.2 escreveu 21 arquivos (1.640 linhas). O Luna e o Terra resolvem o mínimo necessário para cumprir a especificação sem cerimônia; modelos intermediários e de fronteira tendem a modularizar mais e cobrir mais casos de borda.

O meio da tabela: onde mora o custo-benefício real (US$ 1,78 a US$ 3,39)

Entre US$ 1,78 e US$ 3,39 temos o pelotão mais interessante do mercado hoje: Qwen 4 Max (US$ 1,78), Gemini 4 Hydrogen (US$ 1,89), GPT-6.2 Sol (US$ 2,02), Claude Sonnet 5.5 (US$ 2,14), Kimi K3.1 Pro (US$ 2,66), Gemini 4 Neon (US$ 3,10) e Gemini 4 Carbon (US$ 3,29 no preço promocional, mas lembrando que sobe para US$ 6,58 em 1º de dezembro).

Olha o agrupamento de tempo ali: Sonnet 5.5 (15,7m), Kimi K3.1 Pro (16,0m) e Gemini 4 Hydrogen (16,2m) entregam o projeto completo em cerca de 16 minutos por volta de dois dólares. Você recebe suítes de teste bem mais completas (de 9 a 17 arquivos de teste) pagando uma fração do preço de um modelo de topo.

Os pesos pesados de fronteira (US$ 5,73 a US$ 14,19)

No topo da conta ficaram Claude Opus 5.5 (US$ 5,73 em 19,7m) e GPT-6.2 Astra (US$ 5,78 em 15,9m), praticamente empatados no preço. Acima deles, o Claude Fable 5.2 (US$ 12,96 em 35m) custa mais do que o dobro do Opus e do Astra para entregar o mesmo aplicativo aprovado, e o Grok 4.7 (US$ 14,19 em quase uma hora e meia) fica completamente fora de proporção para tarefas desse porte.

E se você usa assinatura mensal em vez de API direta, essa conta ajuda a saber quando o plano se paga:

PlanoMensalidadeModeloCusto API / RunPonto de equilíbrio
Claude Max 20xUS$ 200Claude Fable 5.2US$ 12,96~15 execuções/mês
Claude Max 20xUS$ 200Claude Opus 5.5US$ 5,73~35 execuções/mês
Claude ProUS$ 20Claude Sonnet 5.5US$ 2,14~9 execuções/mês
ChatGPT Pro 20xUS$ 200GPT-6.2 AstraUS$ 5,78~35 execuções/mês
ChatGPT PlusUS$ 20GPT-6.2 SolUS$ 2,02~10 execuções/mês
ChatGPT PlusUS$ 20GPT-6.1 TerraUS$ 0,50~40 execuções/mês
Google AI ProUS$ 20Gemini 4 Neon / CarbonUS$ 3,10 a US$ 3,29~6 execuções/mês
Z.ai Coding LiteUS$ 18GLM-5.3US$ 6,08 oficial (US$ 1,58 OR)~3 execuções/mês (~11 OR)

O mito dos modelos chineses sempre mais baratos

Muita gente assume no automático que os modelos chineses são sempre a opção mais barata do mercado. Quando a gente coloca a economia real de tokens e prompt caching na ponta do lápis, a história fica bem diferente.

O DeepSeek V4.1 Flash realmente entregou um preço baixo (US$ 0,56 na tarifa oficial de pico, US$ 0,28 no off-peak e US$ 0,43 no OpenRouter). Só que olhe o volume de tokens que ele queimou para chegar lá: 32,35 milhões de tokens, quase sete vezes mais do que o GPT-6.1 Terra (4,67 milhões). Ele só saiu barato porque o desconto de leitura de cache da DeepSeek é brutal (98%, US$ 0,006 por milhão).

No DeepSeek V4 Pro, essa verbosidade explodiu ainda mais: foram 36,81 milhões de tokens, o maior volume do benchmark inteiro. Na API oficial deu US$ 3,39, mas se você rodar o mesmo modelo via OpenRouter a conta dispara para US$ 10,59, quase o dobro do Opus 5.5 e do GPT-6.2 Astra.

O caso mais curioso é o do GLM-5.3. Ele cravou a maior taxa de cache hit do benchmark inteiro (99,1%), mas gastou 20,80 milhões de tokens. Como a tarifa oficial de cache read da Z.ai é relativamente alta (US$ 0,26 por milhão), o GLM-5.3 custou US$ 6,08 na API oficial, saindo mais caro do que o Claude Opus 5.5 (US$ 5,73) e o GPT-6.2 Astra (US$ 5,78). Ele só vira pechincha quando você usa provedores com desconto no OpenRouter (onde a mesma rodada cai para US$ 1,58) ou a assinatura Coding Lite de US$ 18.

Já Qwen 4 Max (US$ 1,78, levando quase 44 minutos) e Kimi K3.1 Pro (US$ 2,66 oficial ou US$ 1,92 no OpenRouter, em 16 minutos) ficaram estacionados no meio da tabela junto com Sol, Sonnet e Hydrogen, bem acima dos US$ 0,15 do Luna e dos US$ 0,50 do Terra. Ou seja: a OpenAI, com Luna e Terra, hoje bate os modelos chineses em preço real de entrega.

A minha experiência prática com os chineses no dia a dia

Olhando para além da tabela do benchmark, no uso real do dia a dia a minha ordem de preferência entre os chineses é bem clara: primeiro GLM-5.3, depois Kimi K3.1 Pro, e só lá atrás o DeepSeek V4.1 Flash.

Na minha experiência prática, o DeepSeek é de longe o pior dessa turma. Eu só encosto nele quando as cotas de absolutamente todos os outros modelos já se esgotaram.

O motivo é simples: com o DeepSeek eu preciso ficar de babá o tempo inteiro. Às vezes ele se perde no meio do caminho e abandona a tarefa inacabada, entra em loops agentic estranhos ou simplesmente faz a coisa errada.

O DeepSeek é o único modelo desta geração atual que ainda se comporta mal desse jeito. Nenhum outro modelo que venho testando hoje em dia dá esse tipo de trabalho.

Escolha pelo seu problema, e faça seus próprios testes

Se existe uma lição que eu quero que fique deste artigo (e que já discuti quando falei sobre ser competente o suficiente), é que não existe um único modelo certo para todo mundo.

Você vai encontrar gente jurando de pés juntos que o GPT-6 Luna sozinho já resolve a vida inteira dela, e essa pessoa provavelmente tem razão, porque os problemas do domínio dela realmente não exigem mais do que o Luna entrega. Ao mesmo tempo, você vai encontrar engenheiros dizendo que não conseguem trabalhar com nada abaixo de um GPT-6.2 Astra ou Claude Opus 5.5, e eles também têm razão dentro da complexidade do domínio deles.

Cada equipe e cada codebase têm exigências diferentes. Nunca confie cegamente em nenhum benchmark, incluindo o meu. O Benchmark v5 olha especificamente para preço e velocidade numa app Rails feita do zero; isso coloca o Luna como o mais barato, e pronto. A resposta certa para a maioria das pessoas provavelmente está em algum ponto no meio da tabela.

No meu próprio fluxo de trabalho hoje, eu tenho usado muito mais Gemini 4 Neon do que Claude Opus 5.5 ou GPT-6.2 Sol. Raramente encosto no Claude Fable 5.2 ou no GPT-6.2 Astra, porque eles devoram a minha cota de tokens rápido demais sem me devolver um ganho proporcional. Na maior parte das tarefas, Opus e Sol já sobram com folga, e várias vezes eu sinto que até um Claude Sonnet 5.5 ou um GPT-6.1 Terra já dariam conta do recado perfeitamente.

Teste os modelos nos seus projetos reais, meça quanto tempo e quantos tokens cada um consome no seu tipo de código, e pare de pagar tarifa de foguete para fazer entrega de bicicleta.