Convex Evals
2026-10-08 · 框架官方评测 · 92a60e0bb2f156b5ac44e6ea3f5d03a91deb434b9d002d14819d1fc2b6e35cdb
- 测什么
- 模型写 Convex 代码并实际跑起来。当前版本 112 题。基线是 No Guidelines：不提供指南，也不能上网。
- 怎么测
- Convex 官方 coding evals。名次只用 No Guidelines。No Guidelines + Web 是另一列：可以搜索和打开网页，仍然没有指南。两列不平均、不相加。
- 分数含义
- 百分比是 112 题上的通过率，保留到两位小数。网页列只在该模型有这次运行时出现，缺测不是 0 分。
- 注意
- Convex 自己出题、自己评分。测的是模型加上 Convex，不是框架之间的高低。前排接近满分。With Guidelines 没有收录：2026-10-10 查询公开接口 runs:leaderboardScores，参数 experiment=with_guidelines 返回服务器错误。页面上的 With Guidelines 标签没有对应的 experiment 字段。不把未带 experiment 的默认查询当成这一臂。
- 更新
- 版本 92a60e0bb2f156b5ac44e6ea3f5d03a91deb434b9d002d14819d1fc2b6e35cdb，铸造时间 2026-10-08。本页于 2026-10-10 从 fabulous-panther-525.convex.cloud 同步 No Guidelines（13 个模型）和 No Guidelines + Web（8 个模型）。
基线榜
| # | 模型 | 基线 | 无指南 + 网页 | 单次成本 |
|---|---|---|---|---|
| 1 | Claude Opus 5.5 1 run | 90.18 | 96.43 | $3.64 |
| 2 | GPT-6.1 Sol 1 run | 88.39 | 91.96 | $1.21 |
| 3 | Claude Sonnet 5.5 1 run | 84.82 | 84.82 | $1.42 |
| 4 | Claude Opus 5 1 run | 80.36 | 83.93 | $4.53 |
| 5 | Grok 4.7 1 run | 80.36 | — | $4.65 |
| 6 | Claude Haiku 5.5 2 runs | 74.55 | 79.02 | $0.16 |
| 7 | Gemini 3.1 Pro Preview 1 run | 72.32 | — | $3.99 |
| 8 | GPT 6 Luna 1 run | 67.86 | 67.86 | $0.08 |
| 9 | DeepSeek V4.1 Flash 1 run | 66.07 | 75.0 | $0.16 |
| 10 | Gemini 3.8 Flash 1 run | 64.29 | — | $2.40 |
| 11 | MiMo V2.6 Pro 1 run | 54.46 | — | $0.40 |
| 12 | MiMo V2.6 Flash 1 run | 48.21 | — | $0.10 |
| 13 | GLM-5.3 1 run | 42.86 | 39.29 | $0.45 |