#llms

82 posts

2026 - outubro

14 posts

Melhor LLM Open Source: Strata com Qwen 3.8 Flash Next

O Qwen3.8 Flash-Next servido pelo motor Strata fez 91, Tier A, numa RTX 5090, a 1,5 ponto da B300 e a uns 159 tokens por segundo. Explico como o Strata faz um MoE de 125 bilhões caber num PC usando a VRAM como cache de especialistas e a RAM como estoque, por que isso importa com a memória custando o dobro, e por que não é mágica: a banda de memória da 5090 é sete vezes a do Strix Halo e quase 30 vezes a do PCIe, e mesmo na minha máquina ele ocupa quase toda a RAM e a VRAM. Mostro a instalação, um serviço que carrega e descarrega o modelo sozinho, a configuração do OpenCode, por que eu considero a minha máquina o mínimo pra programação de verdade, e por que, mesmo um pouco menos responsivo que um modelo comercial, ele já está quase bom o suficiente pra substituir a nuvem no dia a dia.

LLM Benchmark v4: open source nível consumidor na RTX5090 ou Strix Halo. E o Strata?

Voltei pro hardware de consumidor depois dos testes em datacenter. O Qwen3.8 Flash-Next fez 91,0, Tier A, numa RTX 5090 com o motor Strata, a 1,5 ponto da B300 e a 159 tokens por segundo. É um modelo diferente do Qwen 3.8 27B que eu tinha chamado de lento: um MoE com 6B ativos por token, servido com os especialistas mais usados na placa. A Strix Halo fez 80,0 com o 27B, mas a 7,7 tokens por segundo. É o primeiro modelo local que fez Tier A no v4 e que vale testar no dia a dia de programação, se você achar uma 5090: a NVIDIA nega o fim da produção, mas admite oferta apertada.

LLM Benchmark v4: meu time cabe em 4x B300/H200?

Depois de ranquear os modelos grandes, a pergunta que sobra: quantos desenvolvedores cabem num pod de 4x B300 ou 4x H200? Medimos concorrência de verdade, com SLO de latência, e a resposta muda tudo: o DeepSeek V4.1 Flash segura 32 usuários confortáveis na B300 e só 8 na H200. Custo por usuário confortável: US$ 1,13/hora na B300 contra US$ 1,80 na H200. Quando a infra própria fecha a conta contra a assinatura de frontier, e quando ela é só vaidade cara.

LLM Benchmark v4: open source que só cabe em 4x B300!!

Aluguei 4x NVIDIA B300 na Runpod e rodei meu benchmark v4 de sabotagem nos modelos abertos que não cabem numa placa só. O DeepSeek V4.1 Flash, com 748B, empatou com os líderes em 92,5, no nível do GLM 5.3 hospedado e do GPT-6 Sol. O GLM 5.3 full ficou pra trás, o Kimi K2 Thinking de 1T decepcionou, e um modelo de 397B despencou de 94 na nuvem pra 27 em casa. A conta: US$ 36 por hora de pod, US$ 864 por dia. Quando faz sentido ter a própria infra, e se um modelo aberto grande já basta pro seu dia a dia de programador.

LLM Benchmark v4: os top LLMs open source numa B300

Aluguei uma NVIDIA B300 de 288 GB na Runpod e rodei meu benchmark v4 de sabotagem em 14 modelos abertos que não cabem em casa. Nenhum serve rápido do jeito que vem: o GLM 5.3 Flash saiu de 10 pra 141 tokens por segundo só de configuração. Dois modelos abertos chegaram a 92,5, nível Sonnet 5, e um fine-tune de 27B fez 88. Um flagship de 397B deixou passar uma backdoor de admin, o DeepSeek V4 Flash fez 86 na nuvem e 44,5 em casa, e o Nemotron trapaceou no teste. A conta: a API em nuvem do mesmo modelo custa um dólar por rodada e o pod custa 218 por dia. Quando vale a pena ter a própria infra, e se um time cabe numa placa só.

Treinei meu próprio modelo de IA (Spoiler: é só pra estudo)

Faltava um exercício: treinar um LLM do zero. Parti do microgpt do Karpathy, 200 linhas de Python puro, e expandi pra um laboratório com tokenizer, pré-treino, SFT, servidor compatível com OpenAI e integração com o OpenCode. Menos de duas semanas, uma RTX 5090, 10 bilhões de tokens, 137 horas de treino, no máximo uns R$ 80 de luz. O modelo final tem 337 milhões de parâmetros, acerta 58 de 100 funções Python simples e zera em tudo que exige agir num repositório. Explico cada etapa, os tropeços, as dimensões contra GPT-2 e modelos de fronteira, e por que acho que o futuro são modelos menores e especializados.

LLMs + Agentes = competente o suficiente

Uma síntese do que venho medindo e escrevendo: os LLMs convergiram. A arquitetura transformer chegou perto do teto, a guerra de parâmetros acabou, e o salto que todos sentimos em 2025 e 2026 veio do harness agêntico (tool calling, prompt caching, sessões longas), não de uma inteligência de base ordens de magnitude maior. Reconto a linha do tempo de 2019 pra cá com fontes, explico por que o agente permite um modelo menos denso, e por que isso já é competente o suficiente pra automatizar engenharia de software de verdade.

Existem Linguagens Melhores pra programar com LLMs?

DHH converteu o Campfire dele pra várias linguagens com IA e saiu postando que Rust ganhou. Em vez de brigar no X, montei um benchmark reproduzível: 7 linguagens, 4 configurações de LLM, 112 tentativas de implementação, e um teste de fila sob pressão com Elixir, Rust, Rails e Ruby puro. Resultado: nenhum ranking de linguagem se sustenta, Ruby conciso custou mais tokens que Rust, tipagem forte não poupou reparo nenhum, e sob carga as quatro stacks empataram em vazão. O que importa é teste e disciplina, não linguagem.

Qual modelo de decisão/classificador de IA tipo Jev é melhor?

Rodei meu próprio benchmark de modelos de decisão: Jev, Clef, OpenAI Decisions e Microsoft Decision-1 na nuvem, mais dezoito configurações abertas (Perplexity Decider 27B, Decision 3.0 e Edge, Clef-flash, Kev, Jebadiah, Mapika, Eikos, Laya, Julia, GLiNER, Simple-Jev) no meu Strix Halo via ROCm e numa RTX 5090 via CUDA, em mais de 22 mil classificações com casos em inglês e português. O topo agora tem dois de pesos abertos: Perplexity e Decision 3.0 empataram em 99,4%, com rótulos idênticos nas 1.024 classificações e 100% em português. O Microsoft Decision-1 empatou com o Jev em 97,6% sendo o hospedado mais barato. Na 5090 os 4B caem pra 39-91 ms, mais rápidos que qualquer hospedado, e os campeões de 27B nem cabem nos 32 GB da placa. Tabela completa, custo em e-mails de suporte, pegadinhas e onde os dados convergem.

Entendendo o Hype do Jev: pra que serve?

O Jev é um classificador hospedado, e o choque de '193x mais rápido' só existe porque muita gente usa LLM de chat como classificador caro. Reproduzo o ensaio do Paulo Câmara, da LUA Vision, com os gráficos dele, explico o que é um classificador e por que é a primeira coisa que um cientista da computação pensa, aponto onde o ensaio pede desconto, comparo com as alternativas abertas Clef e Laya, e fecho com como pensar em ferramenta desse tipo no seu projeto.

2026 - setembro

9 posts

2026 - agosto

4 posts

2026 - julho

7 posts

2026 - junho

6 posts

2026 - maio

4 posts

2026 - abril

7 posts

2026 - março

6 posts

2026 - fevereiro

7 posts

2026 - janeiro

3 posts

2025 - junho

1 post

2025 - maio

5 posts

2025 - abril

6 posts

2023 - junho

1 post

2023 - janeiro

1 post

2020 - agosto

1 post