YuyaoGe/doc2harness

Doc2Harness 是一个评测基准，衡量的不是模型写代码补丁的能力，而是模型能否从零搭建出一个能用的 coding agent 本体（即 harness）。它分两步：先让被测模型在隔离容器里根据开发文档和接口骨架实现完整 agent，再冻结该实现，用脚本化的 mock 模型端到端驱动，观察模型请求、磁盘文件、退出码、命令输出四类信号来判定通过与否，并用正向对照排除“空过”。场景覆盖文件读写、权限约束、会话状态、无头运行、协议层、终端交互、启动安装等九类。榜单显示 19 个前沿模型最高通过率仅 53%，说明即便最强模型也近半失败。适合关注 agent 工程质量、做 coding agent 产品或模型评测的研究与工程人员；普通后端或应用层开发者关系不大。

Star 趋势

话题标签

仓库信息