ENGINEERING AGENT EVALUATION
用工程任务，
看 AI 的实际表现。
固定任务、预算和验收规则，在同一张表里看通过率、得分和输出速度。
ENGINEERING EVALUATION
评估结果
公开合成题与授权总体聚合 · max 推理 · Kimi K3.1 Pro 单独列示 · 私有逐题数据不公开
部分结果暂时无法加载，请查看结果说明。
输出 token 统计暂不可用，通过率仍来自原始汇总。
| —请求模型 · max | —含修复 — | —含修复 — | —— |
|---|---|---|---|
| —请求模型 · max | —含修复 — | —含修复 — | —— |
| —请求模型 · max | —含修复 — | —含修复 — | —— |
| —请求模型 · max | —含修复 — | —含修复 — | —— |
| —请求模型 · max | —含修复 — | —含修复 — | —— |
左右滑动查看完整表格 →
怎么看：得分就是通过率，首轮与含自动修复分别计算；失败、未评分、错误和超时都计入分母。公开题使用合成任务；全部题目包含公开与未公开任务，页面只展示总体得分。
输出速度：公开题的候选输出 token 数 ÷ 候选调用耗时，包含客户端启动、网络、等待与修复；输出 token 可能包含推理 token，各执行器口径和分词器可能不同，这不是服务端纯解码速度。
结果边界：Codex 与 DSH 的输出约束不同；当前是有限样本的结构化响应与补丁测试，不构成通用模型排名。部分题目曾用于模型试跑与调整，并非独立留出集。历史 Codex 运行未隔离全局指令，工作区外文件读取隔离也未核实。模型是请求值，服务端身份未独立观测。部分题目使用 Sol 裁判，Sol 候选存在同模型评分偏差的可能。
DISCLAIMER
免责声明
本项目是实验性评估。结果仅描述所记录的任务、模型与执行器组合及运行环境，不保证其他场景下的表现或生产可用性，也不应作为重要决策的唯一依据。
自动检查和 LLM 裁判可能误判，重要结果请结合实际任务独立核验。评估器会执行候选代码，使用不可信代码时应隔离整个运行环境；提交任务前请确认数据使用权限。
项目按 MIT 许可证提供，适用其中的无担保与责任限制条款。产品名称仅用于识别，不表示相关方参与或背书。
阅读完整免责声明 ↗