StartLuxLabs/DecisionPivot

DecisionPivot 是一套专门评测 LLM 系统中「决策模型」的诊断型基准。所谓决策模型，是指读入一个案例和带固定选项的问题、一次前向输出各选项概率的小模型，它们在系统里负责路由请求、拦截危险工具调用、校验生成结果、判断何时转人工。这个基准的核心玩法是构造「对比组」：同一案例出现两到四次，只改动一个决定性的细节（比如运费让总价刚好越过或没越过限额），答案就随之翻转。它用 pair accuracy 揭穿只看表面模式的模型——这类模型单题准确率能到一半，成对几乎全错。此外还报告 5% 错误率下能自动接管多少工作、置信度校准误差等指标，覆盖生成前可答性、安全护栏、生成后校验、Agent 循环等七类决策点。适合做 LLM 应用评估、Agent 安全与可靠性、模型选型的算法和评测工程师看；如果你的工作不涉及给 LLM 系统加决策/守门环节，关系不大。

Star 趋势

话题标签

仓库信息