197KB 本地小模型,判断 CLI 调用真实成败,退出码 0 不算数
Star238
24h 新增+5
7 天新增—
Fork0
Issue0
语言Python
项目介绍
更新于 1 天前
Verdict 是一个只有 197 KB 的本地小模型,专门判断命令行工具调用到底成功了没有。它的出发点是「退出码为 0 不等于成功」:进程可能一个测试都没跑、返回了 HTTP 500、或者只做了 dry-run,却依然正常退出。Verdict 会读取命令、退出码、stdout 和 stderr,输出 success、failure、blocked 或 unknown 四种结论,帮助 Agent 区分「真失败」和「环境被挡住了」,从而决定该重试、该停下还是可以宣称完成。在 48 个训练时完全没见过的 CLI 家族上,它的准确率达到 93.2%,而只看退出码的基线只有 47.9%。推理纯 Python 标准库、CPU 上 0.5 毫秒出结果,不联网不上传日志。README 也明确说它只是辅助分类器,不能替代确定性检查。适合在做 coding agent、CI 流水线或工具调用编排、需要判断 Agent 是否谎报成功的从业者看一眼。
上手成本:中
Star 趋势
仓库信息
| License | Apache-2.0 |
| 创建时间 | 2026-11-02 |
| 最后推送 | 2 天前 |
| 热度分 | 15.0 |