Metodologia
O RankingIA não roda testes próprios. Ele junta placares públicos que medem coisas diferentes e mostra tudo num lugar só, com preço e contexto ao lado. Os dados são coletados uma vez por dia.
Fontes
- LiveBench: benchmark objetivo, com questões novas a cada release para evitar contaminação. Usamos a nota geral do LiveBench 2.0 e cada categoria.
- LMArena (arena.ai): pessoas comparam duas respostas às cegas e votam; isso vira um Elo. Usamos as arenas de texto, WebDev e visão. Quando um modelo tem vários modos ("High", "Max"), fica o melhor Elo.
- OpenRouter: preço por milhão de tokens, janela de contexto, data de lançamento e se os pesos são abertos.
- Artificial Analysis: Intelligence Index, Humanity's Last Exam, Terminal-Bench, GPQA e contexto longo, além de preço e velocidade. Em uso.
- Frankfurter: câmbio de referência do Banco Central Europeu, para mostrar os preços em outras moedas.
Nota RankingIA
- Entram no ranking geral os modelos com ao menos um benchmark objetivo (LiveBench ou Índice de Inteligência AA ou Humanity's Last Exam). Os demais aparecem em "outros modelos", sem nota.
- Para cada métrica, calculamos o percentil: a porcentagem dos modelos do ranking geral que este modelo supera (empate conta meio). Assim, Elo e porcentagem de acerto ficam na mesma escala de 0 a 100.
- A nota é a média ponderada dos percentis que o modelo tem. Métrica que falta não conta, nem contra nem a favor.
- Para quem tem pouca evidência não pular para o topo com uma métrica só, a média recebe 1 de peso extra com percentil 50.
| Métrica | Peso | Fonte |
|---|---|---|
| LiveBench | 3 | LiveBench |
| Índice de Inteligência AA | 3 | Artificial Analysis |
| Arena texto (Elo) | 2 | LMArena |
| Arena WebDev (Elo) | 1 | LMArena |
| Arena visão (Elo) | 0,5 | LMArena |
| Humanity's Last Exam | 1 | Artificial Analysis |
| Terminal-Bench | 1 | Artificial Analysis |
Categorias
Cada categoria tem uma nota própria: a média dos percentis das métricas dela, com o mesmo encolhimento. As categorias e suas métricas são:
| Categoria | Métricas |
|---|---|
| Agêntico | LiveBench agêntico longo, Terminal-Bench |
| Código | LiveBench código, Arena WebDev (Elo) |
| Raciocínio | LiveBench raciocínio, Humanity's Last Exam, GPQA Diamond |
| Análise de dados | LiveBench análise de dados |
| Pesquisa | LiveBench pesquisa, Raciocínio em contexto longo |
| Design | LiveBench design, Arena WebDev (Elo) |
| Navegador | LiveBench navegador |
| Conversa | Arena texto (Elo) |
| Visão | Arena visão (Elo) |
Evolução de cada modelo
Modelos da mesma família (por exemplo Claude Opus 3, 4, 4.5 e 5.5) são agrupados pelo nome sem o número da versão. A página de cada modelo mostra a família inteira em ordem de lançamento.
Nomes dos modelos
Cada fonte escreve o nome de um jeito ("Claude Opus 5.5 (High)", "anthropic/claude-opus-5.5"). Juntamos por uma chave sem empresa, data e modo de esforço; os casos que a regra não pega ficam numa lista de apelidos revisada à mão. Se algum modelo aparecer duplicado ou trocado, abra uma issue.
Limites
- Percentil depende do grupo: quando um modelo forte entra, os outros podem cair sem ter piorado.
- Elo mede preferência, não acerto. Estilo e tamanho da resposta influenciam.
- O preço é o do OpenRouter (o menor entre provedores); o preço direto no fabricante pode ser outro.
Outras referências
Estes sites também acompanham modelos de IA, mas não entram na nota:
- BenchLM: agrega centenas de benchmarks. Os termos dele pedem um acordo à parte para exibir os dados num site público.
- Stanford HAI — AI Index: relatório anual sobre o estado da IA; não é um placar por modelo atualizado todo dia.
- SWEN.AI: ranking em português feito só com dados da Artificial Analysis, que o RankingIA já usa direto da fonte.
Situação das fontes
| Fonte | Última coleta | Dados de |
|---|---|---|
| OpenRouter | ok | 30/10/2026, 11:45 |
| LiveBench | ok | 30/10/2026, 11:45 |
| LMArena | ok | 30/10/2026, 11:45 |
| Artificial Analysis | ok | 30/10/2026, 11:45 |
| Câmbio do BCE (Frankfurter) | ok | 30/10/2026, 11:54 |
Os dados de cada fonte são de seus donos e seguem os termos deles. O código do RankingIA é aberto, licença MIT, em github.com/RicardoBiazin/RankingIA.