Interactive-Active-AI/NextTransformer

NextTransformer 是一个用来公平比较下一代 Transformer 架构的开源训练与评测框架，核心回答一个问题：训练预算固定时，语言模型该怎么花算力。它把循环深度、稀疏注意力、线性注意力、残差流变体以及各种混合架构（如 GQA、NSA、MoBA、GDN、Ouro 等）放进同一套训练器、数据管线和评估流程里，在完全相同的数据、token 数和训练 FLOPs 下跑对比，误差控制在 1% 以内，每次运行都有可审计的记录。目前已完成 31 次训练、36 份模型卡，配套的在线观测台能看学习曲线、排行榜和模型图谱，还计划让 AI agent 在同一规则下自主探索新架构。它适合做模型架构研究、预训练 scaling 实验的算法工程师和研究员，以及关注注意力机制替代方案的从业者；如果你只做应用层开发或推理部署，和你的关系不大。

Star 趋势

话题标签

仓库信息