slavabars/decision-cascade

decision-cascade 是一个本地运行的决策引擎，思路是不让 LLM 生成自由文本，而是把状态编码成特征后由专门的决策头直接输出三种类型化结果：是/否（Noul）、选项（Choice）、分数（Score），每个答案都带概率分布和置信度，可校验、可校准（内置 ECE/Brier 指标）。相比让模型「想一段话再回答」，它没有自回归生成，延迟低且确定，一次前向就能并行处理多个问题。它对标付费 SaaS 产品 Jev，但完全开源、数据不出本机，还支持用自己领域的标注数据微调决策头（SFT + RLCD）来优化校准质量，并兼容 Cloudflare Clef、Perplexity 等项目共用的 SystemOne 协议，可当网关转发。适合需要在产品里做可审计、可校准的分类或打分决策、又在意隐私和成本的后端/AI 工程师；项目尚在 beta，开箱权重是随机的，需要自己标注训练，只想拿现成模型直接用的人会失望。

Star 趋势

话题标签

仓库信息