方法说明
RankingIA 不自行测试。它汇总衡量不同能力的公开榜单,并与价格、上下文一起集中展示。数据每天采集一次。
数据来源
- LiveBench:客观基准,每个版本都有新题以避免数据污染。我们使用 LiveBench 2.0 总分及各类别分数。
- LMArena (arena.ai):用户匿名比较两个回答并投票,形成 Elo 分数。我们使用文本、WebDev 和视觉竞技场。同一模型有多个模式("High"、"Max")时取最佳 Elo。
- OpenRouter:每百万 token 价格、上下文窗口、发布日期以及是否开放权重。
- Artificial Analysis:智能指数、Humanity's Last Exam、Terminal-Bench、GPQA 和长上下文,以及价格和速度。已启用。
- Frankfurter:欧洲央行参考汇率,用于以其他货币显示价格。
RankingIA 评分
- 总榜收录至少有一项客观基准(LiveBench 或 AA 智能指数 或 Humanity's Last Exam)的模型,其余模型列于"其他模型",不计评分。
- 对每项指标计算百分位:该模型超过的上榜模型比例(并列算一半)。这样 Elo 与正确率都落在 0–100 的同一尺度上。
- 评分是该模型已有百分位的加权平均。缺失的指标不计入,既不加分也不扣分。
- 为避免证据较少的模型凭单一指标登顶,平均值额外加入权重 1、百分位 50 的一项。
| 指标 | 权重 | 来源 |
|---|---|---|
| LiveBench | 3 | LiveBench |
| AA 智能指数 | 3 | Artificial Analysis |
| Arena 文本(Elo) | 2 | LMArena |
| Arena WebDev(Elo) | 1 | LMArena |
| Arena 视觉(Elo) | 0.5 | LMArena |
| Humanity's Last Exam | 1 | Artificial Analysis |
| Terminal-Bench | 1 | Artificial Analysis |
类别
每个类别有自己的评分:其各项指标百分位的平均值,采用相同的收缩处理。类别及其指标如下:
| 类别 | 指标 |
|---|---|
| 智能体 | LiveBench 长程智能体, Terminal-Bench |
| 编程 | LiveBench 编程, Arena WebDev(Elo) |
| 推理 | LiveBench 推理, Humanity's Last Exam, GPQA Diamond |
| 数据分析 | LiveBench 数据分析 |
| 研究 | LiveBench 研究, 长上下文推理 |
| 设计 | LiveBench 设计, Arena WebDev(Elo) |
| 浏览器操作 | LiveBench 浏览器 |
| 对话 | Arena 文本(Elo) |
| 视觉 | Arena 视觉(Elo) |
模型的演进
同一系列的模型(例如 Claude Opus 3、4、4.5 和 5.5)按去掉版本号后的名称归为一组。每个模型页面按发布顺序展示整个系列。
模型名称
各来源的命名方式不同("Claude Opus 5.5 (High)"、"anthropic/claude-opus-5.5")。我们用去掉公司、日期和推理模式后的键进行匹配;规则无法覆盖的情况放入人工维护的别名列表。如发现模型重复或混淆,请提交 issue。
局限
- 百分位取决于群体:强模型加入后,其他模型可能在没有变差的情况下名次下降。
- Elo 衡量的是偏好而非正确率,回答风格和长度会产生影响。
- 价格取自 OpenRouter(各提供商中的最低价);厂商直售价格可能不同。
其他参考
以下网站同样跟踪 AI 模型,但不计入评分:
- BenchLM:汇总数百项基准。其条款规定,在公开网站展示其数据需另行签订协议。
- Stanford HAI — AI Index:关于 AI 现状的年度报告,并非每日更新的逐模型榜单。
- SWEN.AI:仅基于 Artificial Analysis 数据的葡萄牙语排行榜,RankingIA 已直接使用该来源。
数据源状态
| 来源 | 最近采集 | 数据日期 |
|---|---|---|
| OpenRouter | ok | 2026/10/30 11:45 |
| LiveBench | ok | 2026/10/30 11:45 |
| LMArena | ok | 2026/10/30 11:45 |
| Artificial Analysis | ok | 2026/10/30 11:45 |
| Câmbio do BCE (Frankfurter) | ok | 2026/10/30 11:54 |
各来源的数据归其所有者,并遵循其条款。RankingIA 代码以 MIT 许可证开源:github.com/RicardoBiazin/RankingIA。