HazyResearch/ncm

NCM（Next Concept Modeling）是斯坦福 HazyResearch 团队提出的一种新的语言模型架构思路，配套论文与代码已开源。它想解决的核心问题是：传统 Transformer 逐 token 预测下一个词的方式，在长上下文和推理任务上效率与效果都遇到瓶颈，NCM 改为在更高层的「概念」粒度上做预测，让模型先归纳出中间概念再往下推。从公开信息看，它目前更像一篇研究性工作的实现，附带模型权重和博客解读，尚未提供开箱即用的产品能力。值得看的是做模型架构研究、关注长上下文与推理效率的算法工程师和科研人员，如果你的工作是调用现成模型做应用，这个项目暂时和你关系不大。

Star 趋势

仓库信息