#modelos-locais
21 posts
2026 - outubro
10 postsLLM Benchmark: Quais as melhores LLMs open source pra hardware caseiro?
Comparei Basalt e Strata servindo o Qwen3.8 Flash-Next na RTX 5090. O Q2_0 fez 100 nas seis rodadas difíceis e chegou a 400 tok/s no Basalt, contra 259 no Strata.
LLM Benchmark para Contadores e Advogados (Experimental - LLMs Open Source)
Testei Sol 6 e quatro combinações de modelos abertos em 38 casos sintéticos de contabilidade e Direito. A RTX 5090 foi competitiva, mas nenhum resultado dispensa revisão profissional.
LLM Benchmark v4: o veredito de open source (até out/2026)
Quase 70 rodadas mostram os melhores modelos abertos encostando no Sonnet 5. Mesmo assim, 159 tok/s numa RTX 5090 ainda é lento pro meu trabalho, e as opções mais rápidas já custam como servidor.
Melhor LLM Open Source: Strata com Qwen 3.8 Flash Next
O Qwen3.8 Flash-Next servido pelo motor Strata fez 91, Tier A, numa RTX 5090, a 1,5 ponto da B300 e a uns 159 tokens por segundo. Explico como o Strata faz um MoE de 125 bilhões caber num PC usando a VRAM como cache de especialistas e a RAM como estoque, por que isso importa com a memória custando o dobro, e por que não é mágica: a banda de memória da 5090 é sete vezes a do Strix Halo e quase 30 vezes a do PCIe, e mesmo na minha máquina ele ocupa quase toda a RAM e a VRAM. Mostro a instalação, um serviço que carrega e descarrega o modelo sozinho, a configuração do OpenCode, por que eu considero a minha máquina o mínimo pra programação de verdade, e por que, mesmo um pouco menos responsivo que um modelo comercial, ele já está quase bom o suficiente pra substituir a nuvem no dia a dia.
LLM Benchmark v4: open source nível consumidor na RTX5090 ou Strix Halo. E o Strata?
Voltei pro hardware de consumidor depois dos testes em datacenter. O Qwen3.8 Flash-Next fez 91,0, Tier A, numa RTX 5090 com o motor Strata, a 1,5 ponto da B300 e a 159 tokens por segundo. É um modelo diferente do Qwen 3.8 27B que eu tinha chamado de lento: um MoE com 6B ativos por token, servido com os especialistas mais usados na placa. A Strix Halo fez 80,0 com o 27B, mas a 7,7 tokens por segundo. É o primeiro modelo local que fez Tier A no v4 e que vale testar no dia a dia de programação, se você achar uma 5090: a NVIDIA nega o fim da produção, mas admite oferta apertada.
LLM Benchmark v4: meu time cabe em 4x B300/H200?
Depois de ranquear os modelos grandes, a pergunta que sobra: quantos desenvolvedores cabem num pod de 4x B300 ou 4x H200? Medimos concorrência de verdade, com SLO de latência, e a resposta muda tudo: o DeepSeek V4.1 Flash segura 32 usuários confortáveis na B300 e só 8 na H200. Custo por usuário confortável: US$ 1,13/hora na B300 contra US$ 1,80 na H200. Quando a infra própria fecha a conta contra a assinatura de frontier, e quando ela é só vaidade cara.
LLM Benchmark v4: open source que só cabe em 4x B300!!
Aluguei 4x NVIDIA B300 na Runpod e rodei meu benchmark v4 de sabotagem nos modelos abertos que não cabem numa placa só. O DeepSeek V4.1 Flash, com 748B, empatou com os líderes em 92,5, no nível do GLM 5.3 hospedado e do GPT-6 Sol. O GLM 5.3 full ficou pra trás, o Kimi K2 Thinking de 1T decepcionou, e um modelo de 397B despencou de 94 na nuvem pra 27 em casa. A conta: US$ 36 por hora de pod, US$ 864 por dia. Quando faz sentido ter a própria infra, e se um modelo aberto grande já basta pro seu dia a dia de programador.
LLM Benchmark v4: os top LLMs open source numa B300
Aluguei uma NVIDIA B300 de 288 GB na Runpod e rodei meu benchmark v4 de sabotagem em 14 modelos abertos que não cabem em casa. Nenhum serve rápido do jeito que vem: o GLM 5.3 Flash saiu de 10 pra 141 tokens por segundo só de configuração. Dois modelos abertos chegaram a 92,5, nível Sonnet 5, e um fine-tune de 27B fez 88. Um flagship de 397B deixou passar uma backdoor de admin, o DeepSeek V4 Flash fez 86 na nuvem e 44,5 em casa, e o Nemotron trapaceou no teste. A conta: a API em nuvem do mesmo modelo custa um dólar por rodada e o pod custa 218 por dia. Quando vale a pena ter a própria infra, e se um time cabe numa placa só.
Treinei meu próprio modelo de IA (Spoiler: é só pra estudo)
Faltava um exercício: treinar um LLM do zero. Parti do microgpt do Karpathy, 200 linhas de Python puro, e expandi pra um laboratório com tokenizer, pré-treino, SFT, servidor compatível com OpenAI e integração com o OpenCode. Menos de duas semanas, uma RTX 5090, 10 bilhões de tokens, 137 horas de treino, no máximo uns R$ 80 de luz. O modelo final tem 337 milhões de parâmetros, acerta 58 de 100 funções Python simples e zera em tudo que exige agir num repositório. Explico cada etapa, os tropeços, as dimensões contra GPT-2 e modelos de fronteira, e por que acho que o futuro são modelos menores e especializados.
Qual modelo de decisão/classificador de IA tipo Jev é melhor?
Rodei meu próprio benchmark de modelos de decisão: Jev, Clef, OpenAI Decisions e Microsoft Decision-1 na nuvem, mais dezoito configurações abertas (Perplexity Decider 27B, Decision 3.0 e Edge, Clef-flash, Kev, Jebadiah, Mapika, Eikos, Laya, Julia, GLiNER, Simple-Jev) no meu Strix Halo via ROCm e numa RTX 5090 via CUDA, em mais de 22 mil classificações com casos em inglês e português. O topo agora tem dois de pesos abertos: Perplexity e Decision 3.0 empataram em 99,4%, com rótulos idênticos nas 1.024 classificações e 100% em português. O Microsoft Decision-1 empatou com o Jev em 97,6% sendo o hospedado mais barato. Na 5090 os 4B caem pra 39-91 ms, mais rápidos que qualquer hospedado, e os campeões de 27B nem cabem nos 32 GB da placa. Tabela completa, custo em e-mails de suporte, pegadinhas e onde os dados convergem.
2026 - junho
1 postLLM Benchmark: Kimi v2.7 code, GLM 5.2, Minimax M3 local
No benchmark, GLM 5.2 marcou 87 e Kimi K2.7 Code, 86. O MiniMax M3 aberto não cabe em 128 GB, enquanto programação séria ainda pede Opus 4.8 ou GPT 5.5.
2026 - abril
2 postsComo a ElevenLabs Não Foi Morta pelo Qwen3 TTS
Quando o Qwen3 TTS saiu, meio mundo disse que era 'ElevenLabs killer'. Passei semanas tentando rodar o Qwen3 em produção no meu podcast. Ontem finalmente troquei pra ElevenLabs v3. Quase um dia depois, posso dizer: o open source ainda tá muito longe.
Testando LLMs Open Source e Comerciais - Quem Consegue Bater o Claude Opus?
Este benchmark histórico comparou 33 LLMs num app Rails: Opus, Sonnet e GLM 5 funcionaram, enquanto Qwen 3.6 35B chegou perto na RTX 5090 após uma correção. Os rankings foram depois revisados.
2026 - março
1 postReview: Minisforum MS-S1 Max | AMD AI Max+ 395 com 96GB de VRAM
Nos meus testes, a RTX 5090 foi até 7 vezes mais rápida nos modelos que cabem em 32GB. O Minisforum, porém, rodou modelos de 50 a 81GB que a placa não comporta.
2026 - janeiro
1 postAI Agents: GLM 4.7 Flash é realmente tão bom assim?
Rodei o GLM 4.7 Flash localmente numa RTX 5090 e ele foi o único modelo open source a compilar o desafio de Zig. O comportamento foi bom, mas ampliar o contexto o deixou até 20 vezes mais lento.
2025 - abril
5 postsDissecando um Modelfile de Ollama - Ajustando Qwen3 pra código
Expliquei como temperature, top_p, top_k, min_p e repeat_penalty mudam a geração de tokens e criei um Modelfile para o Qwen3. Com temperatura baixa, o 14B gerou código rápido e utilizável.
Seu Próprio Co-Pilot Gratuito Universal que funciona Local: AIDER-OLLAMA-QWEN
Configurei o Aider com APIs comerciais e Ollama, mostrando watch-files, modo arquiteto e prompts. O fluxo local funciona bem para mudanças pequenas, desde que alguém revise tudo e evite commits automáticos.
Hello World de LLM: criando seu próprio chat de I.A. que roda local
Construí o Tiny Qwen CLI para explicar, na prática, como um LLM tokeniza contexto, gera o próximo token e usa parsers e scripts externos para ler arquivos e buscar páginas, formando agentes.
Mudando roupas usando I.A. (ComfyUI)
Montei um workflow ComfyUI com IDM-VTON e IPAdapter para trocar roupas mantendo rosto e pose. Funciona melhor com peças parecidas, mas exige mais de 20 GB de VRAM e ainda tem glitches.
Usando I.A (ComfyUI) pra gerar NPCs em desenvolvimento de games
Testei o workflow pago de Mickmumpitz no meu setup Docker: uma RTX 4090 leva cerca de 30 minutos para gerar character sheets coerentes, com 500 GB de espaço e ajustes manuais.
2023 - junho
1 post[Akitando] #142 - Entendendo COMO ChatGPT Funciona - Rodando sua Própria IA
Rodei um Vicuna 30B localmente e mostro como transformers geram texto por probabilidades, com limites de contexto, custo e escala. Hoje, servem como auxílio, mas não são AGI nem substituem programadores.