基准/deepswe-v1-1

DeepSWE v1.1

2026-09-22 · 通用长程工程

测什么: 通用长程工程：在真实开源仓库里完成功能级改动。113 道题，跨 Go、Python、TypeScript、JavaScript、Rust 等，覆盖 91 个活跃仓库。Agent 在隔离环境里提交改动，再在干净容器里评分。在本站作为 general 榜，同时出现在 Web 前端、Android 与 CLI / DevOps 场景。
怎么测: Datacurve 的 DeepSWE v1.1。任务从零编写，不用既有 commit / PR 改编。统一用 Pier 跑 mini-swe-agent。本站按官方 Best 视图：每个模型只取 Pass@1 最高的一档推理配置；同分取更高 effort。
分数含义: 百分比是 Pass@1：已评分 rollout 尝试中的通过率。上下文窗口失败与 agent 超时计为失败；供应商 / 验证器 / 网络错误排除在外。越高越好。
注意: 公开榜默认 Best 视图会隐藏部分旧模型；本站收录全部 28 个模型各自的 Best 配置。所有行共用 mini-swe-agent，不比较 Claude Code / Codex 等原生 CLI。成本列是来源 JSON 的平均单任务成本，站点展示数字可能因计价口径略有出入。
更新: 来源榜标注更新于 2026-09-22；artifact generated_at 为 2026-09-22T06:27:15Z。本页于 2026-10-11 从 https://deepswe.datacurve.ai/artifacts/v1.1/leaderboard-live.json 同步 28 行 Best 配置。
来源: deepswe.datacurve.ai deepswe.datacurve.ai/blog/deepswe-v1-1 github.com/datacurve-ai/deep-swe

完整榜单

#	模型	分数