Danielxu0208/rsi_eval

rsi_eval 是一个用来评测「递归自我改进」（RSI）方法的轻量级 Python 工具，你可以把它理解成给 RSI 实验用的统一评测台：你自带改进循环，它负责把候选方案丢进现成的 agent 基准里跑分，再把每题得分、执行状态、token 消耗、验证器输出等反馈以统一格式还给你，省去自己对接各家 benchmark 执行和结果处理的麻烦。它内置 24 套评测配置，覆盖 Terminal-Bench、SWE-bench Verified、LiveCodeBench、MMLU、GPQA、ARC-AGI 等编码、推理、工程和领域工作流任务，也支持接入自定义任务，实验过程可快照记录并断点恢复。适合做 agent 自我改进研究、需要横向比较不同 RSI 策略的算法工程师，以及想在统一协议下跑多套基准的 LLM 评测人员；如果你不研究 RSI 或不做 agent 基准评测，跟你的关系不大。

Star 趋势

话题标签

仓库信息