Ta0p1/ResolveLab

ResolveLab 是一个给工具调用型 LLM agent 做「故障注入 + 副作用打分」的评测与后训练环境。它跑一个真实的 HTTP 服务，在 agent 操作过程中注入各种会改变正确下一步动作的故障，比如分页查询里的近似记录、If-Match 冲突、429 限流、写入已提交后才返回的 502、任务中途被收回权限等，然后从服务端状态、提交日志和读版本来判定 agent 到底把系统改成了什么样，而不是听它自己说「已解决」——写错记录、重复提交、漏读最新状态、谎报成功都会被判失败。它还内置一个经回放验证的 teacher，可以生成 DAgger 训练数据，README 里展示了 Qwen3-0.6B 经 BC+DAgger 微调后测试通过率从 90.8% 提到 98.3%。适合做 agent 评测基准、agent 后训练或 RL 环境研究的算法工程师和研究者；如果你不涉及 agent 训练或可靠性评测，和多数从业者关系不大。

Star 趋势

话题标签

仓库信息