jwuthri-cloud/Tracely-ai

Tracely 是一套面向 AI agent 的 CI/CD 回归测试与可观测平台，核心思路是「生产环境里录下的那次失败运行，本身就是测试用例」。传统 eval 工具都要你手工编数据集，猜什么会坏；Tracely 则直接把线上出问题的 trace 冻结成可回放的回归用例，在每次 PR 上离线重放——用录制好的工具和模型响应做 fixture，不调真实 API、零成本、结果确定。除了回归门禁，它还提供 trace 瀑布图（agent、思考、工具调用、生成分层展示）、LLM-as-judge 在线打分、失败聚类（31 条坏运行合并成一个问题）、以及画布式告警规则（可推送到 Slack、邮件或自定义 webhook），回归时直接 block PR。适合负责 agent 质量保障的后端/平台工程师、做 LLM 应用评测的算法工程师，以及想把 agent 测试接入现有 CI 流程的团队；如果你不维护线上 agent，关系不大。

Star 趋势

话题标签

仓库信息