zaxiu88888/issue-rag

这是一个针对开源项目 issue tracker 的 RAG 问答系统，但它真正的卖点不是「能问答」，而是把评测做扎实并审计自己的评分器。它在 vitejs/vite 的 5,473 篇 issue 上用 95 条人工复核的问题做测试：闭卷时模型只有 8.4% 答对，加上检索升到 64.2%，但同时编造率从 1.1% 涨到 20%——检索让模型从「诚实地说不知道」变成「自信地错」。更值得看的是它对 LLM-as-judge 的审计：换判分模型、跑两遍、换 rubric、加 30 条人工盲评，发现机器测出的增益其实是下界，且四种检索配置之间的差距落在判分器噪声里，根本分不出高下。它还坦承检索只支持英文，中文提问会失效。适合做 RAG 系统评测、关心 LLM-as-judge 可靠性、或需要为自家检索方案设计评测集的算法和数据工程师；只想找现成问答工具的人可以跳过。

Star 趋势

话题标签

仓库信息