GitHub 热门
共 10 个项目 · 第 1 / 1 页
Interactive-Active-AI / NextTransformer 训练微调 Python
同算力公平对比下一代 Transformer 架构的训练评测框架
NextTransformer 是一个用来公平比较下一代 Transformer 架构的开源训练与评测框架,核心回答一个问题:训练预算固定时,语言模型该怎么花算力。它把循环深度、稀疏注意力、线性注意力、残差流变体以及各种混合架构(如 GQA、NSA、MoBA、GDN、Ouro 等)放进同一套训练器、数据管线和评估流程里,在完全相同的数据、token 数和训练 FLOPs 下跑对比,误差控制在 1% 以内,每次运行都有可审计的记录。目前已完成 31 次训练、36 份模型卡,配套的在线观测台能看学习曲线、排行榜和模型图谱,还计划让 AI agent 在同一规则下自主探索新架构。它适合做模型架构研究、预训练 scaling 实验的算法工程师和研究员,以及关注注意力机制替代方案的从业者;如果你只做应用层开发或推理部署,和你的关系不大。
★ 303 24h +34 ⑂ 24 创建 5 天前 更新 6 小时前
HazyResearch / ncm 训练微调 Python
斯坦福提出的概念级预测新架构,面向模型研究者
NCM(Next Concept Modeling)是斯坦福 HazyResearch 团队提出的一种新的语言模型架构思路,配套论文与代码已开源。它想解决的核心问题是:传统 Transformer 逐 token 预测下一个词的方式,在长上下文和推理任务上效率与效果都遇到瓶颈,NCM 改为在更高层的「概念」粒度上做预测,让模型先归纳出中间概念再往下推。从公开信息看,它目前更像一篇研究性工作的实现,附带模型权重和博客解读,尚未提供开箱即用的产品能力。值得看的是做模型架构研究、关注长上下文与推理效率的算法工程师和科研人员,如果你的工作是调用现成模型做应用,这个项目暂时和你关系不大。
★ 1.4k 24h +10 ⑂ 183 创建 25 天前 更新 22 天前
zita-ch / supermimic_vibed 训练微调 Python
SuperMimic 论文的快速复现,1.5 GPU 小时训练 G1 跟随 40 段动作
这是论文 SuperMimic(用一个可微世界模型做人形机器人全身控制)的非官方复现,作者用 AI 编程助手在一小时内写完,目标是复现论文中 LAFAN1 数据集上的对比实验:让一台 29 自由度的 Unitree G1 人形机器人学会跟随 40 段参考动作(跳舞、跳跃、摔倒爬起、冲刺等),训练只花了约 1.5 个 GPU 小时,评估归一化回报达到 0.829,40 段全部成功;作为对照,论文里的 PPO 基线跑 18 小时、最多 8 卡都到不了 0.82。作者在 README 里坦承代码是快速 vibe coding 出来的「slop」,未经审查,风险自负。适合关注人形机器人全身控制、可微仿真或想快速验证论文结果的具身智能、强化学习研究者和工程师;如果你不做机器人控制或仿真训练,这个项目和你关系不大。
★ 823 24h +8 ⑂ 85 创建 14 天前 更新 4 天前
fuyichen0725 / blinkmimic 训练微调 Python
单卡3分钟训出Unitree G1全身动作模仿策略
BlinkMimic 是一个让 Unitree G1 人形机器人学会全身动作模仿的训练框架:给它一段参考动作数据(如 LAFAN1 数据集里的 40 段人体动作),它能训练出一个策略,让机器人在仿真里复现走路、摔倒爬起等全身动作。它的卖点是快——在单张 RTX 4090 上约 3 分钟就能把 40 段动作全部训到高完成度,明显快于 SuperMimic 和 InstantTrack 等同类方法。做法上它基于 mjlab / MuJoCo Warp,用一个可微世界模型做想象 rollout,再通过反向传播优化策略,并改进了优化器选择和仿真器的 reset 分配。对做 humanoid 机器人强化学习、动作模仿(motion tracking)的研究者和工程师来说,这是一份值得对照的加速方案;如果你不做人形机器人控制或仿真训练,和你的关系不大。
★ 132 24h +3 ⑂ 9 创建 2 天前 更新 2 天前
aa1143 / NamiGPT 训练微调 Python
从零手写 GPT-2 的中文入门教程,配矩阵可视化
这是一套面向中文读者的大模型入门教程,核心是用 PyTorch 从零手写一个 GPT-2:不调用任何现成 Transformer 模块,模型代码不到 200 行,加载 OpenAI 官方权重后能真正跑通推理和文本生成,并与 HuggingFace 实现逐项对齐验证。教程用「猫吃鱼」这个三词例子,把从分词、Embedding、自注意力到文本生成的完整链路拆成 15 篇文章,每篇配可运行脚本,还提供矩阵逐格计算的在线可视化,帮读者看清 Attention 公式里 Q、K、V 到底在算什么。它适合两类人:一是想搞懂大模型底层原理、但被论文和公式劝退过的算法工程师或学生,可以对照代码和动图把 Transformer 每个模块吃透;二是需要给团队做 LLM 基础培训的技术负责人,能直接拿它当教材。如果你只关心调用 API 或部署模型,这项目和你关系不大。
★ 185 24h +4 ⑂ 17 创建 8 天前 更新 8 天前
Huy-Quang-Dao / instantTrack 训练微调 Python
单卡7分钟训出Unitree G1全身动作模仿策略,比SuperMimic快4.7倍
InstantTrack 是一个让人形机器人快速学会「照着参考动作跳舞」的训练框架,目标机型是 Unitree G1。它属于动作模仿(motion tracking)这一类:给一段人体动作捕捉数据,训练出一个策略,让机器人在仿真里把动作复现出来。它的卖点是快——在一张 RTX 5090 上约 7 分钟就能把 40 段 LAFAN1 动作全部训到可用水平,且零失败,比 SuperMimic + EMA 的方案快 4.7 倍,同时脚部接触更干净、身体朝向误差更小。做法上它把 SuperMimic 的可微世界模型和 InstantMimic 式的 GPU 训练循环结合起来,用 Muon 优化器和 CUDA graph 进一步压榨速度。项目还预告了 InstantGMT,把这套思路推广到 VR 遥操作的人体动作库上。值得看的是具身智能和人形机器人方向的研究者与工程师,尤其是正在做动作模仿、遥操作策略训练、需要频繁迭代实验的人;如果你不碰机器人强化学习,这个项目和你关系不大。
★ 148 24h +28 ⑂ 6 创建 7 天前 更新 19 小时前
tuotuoLyu / FPO 训练微调 Python
用 RL 微调 flow-matching VLA 策略 pi0 的论文代码
FPO 是一篇 ICRA 2026 论文的官方代码,做的事情是用强化学习继续微调机器人操作模型 pi0。pi0 这类 Vision-Language-Action 模型靠模仿学习训练,遇到训练数据里没见过的情况就会失手,比如从侧面抓方块失败。FPO 的思路是把 PPO 式的策略优化搬到 flow-matching 策略上:由于 flow 模型算不出似然,它用条件流匹配损失的逐样本变化构造一个无似然的比率,配合裁剪目标和 Q 集成估计优势,在冻结的 pi0 外面套一个 actor-critic 做在线微调。论文里 LIBERO 四个套件的平均成功率从 85.5% 提到 87.2%,ALOHA Transfer Cube 从约 40% 提到 65% 以上。做机器人操作、VLA 模型或 flow-matching 策略强化学习的研究者和工程师值得看,普通算法工程师关系不大。
★ 129 24h +1 ⑂ 4 创建 7 天前 更新 7 天前
Juneo-Lab / decision-forge 训练微调 Python
把公司制度文档编译成可审计的Agent决策训练数据
Decision Forge 是一个把公司内部规章制度编译成可审计的决策训练数据的工具。它读取你们的员工手册、SOP、审批规则和权限表,先提炼出带原文引用的规则草案供业务方审核,再用这些规则去标注从工作流、工单、CRM 记录里还原出的决策场景,产出带来源溯源、标签可复现的样本,用来微调或评估 AI Agent。它解决的问题是:Agent 接手客户分配、文件共享、付款审批这类操作时,凭什么判断该做不该做——通用模型没有你们公司的判断标准,只能从内部文档里学。适合需要让 Agent 在生产环境里按公司规矩行事的团队,比如负责 Agent 落地的工程负责人、做决策类模型微调的算法工程师,以及需要向业务方交代 Agent 行为依据的 AI 治理岗位;如果你的工作和 Agent 决策、合规审计无关,这个项目暂时和你关系不大。
★ 63 24h +5 ⑂ 25 创建 5 天前 更新 1 天前
kumarshreshtha / protuna 训练微调 Python
用贝叶斯优化和蛋白语言模型指导下一批蛋白突变体实验设计
Protuna 是一个面向蛋白质工程的 AI 优化框架,可以理解为把贝叶斯优化和主动学习的思路搬到了蛋白突变体设计上:你给它历史突变数据或一个已知的活性分子,它会结合蛋白语言模型和打分函数,自动推荐下一批最值得做实验的变体序列。它支持用奖励引导的方式让蛋白语言模型朝着目标性质生成序列,内置零样本变体效应预测等打分方法,还能用 Ray 做分布式大规模筛选,并允许设置主目标加多个不等式约束(比如只优化活性但限制其他性质),同时可配置序列规则(固定位点、禁止某些氨基酸等)来约束搜索空间。适合做酶工程、抗体或药物先导化合物优化的生物信息、计算生物学和蛋白设计工程师,尤其是那些实验通量有限、需要每一轮聪明地挑选少量候选去做湿实验的团队;如果你不涉及蛋白序列设计,这个项目和你关系不大。
★ 55 24h +1 ⑂ 2 创建 6 天前 更新 6 天前
jiayuqi7813 / crack-open-models-dgx-spark 训练微调 Python
Codex skill:在 DGX Spark 双机上对开源模型做证据驱动的行为编辑
这是一个给 Codex 用的 skill,专门帮 AI 智能体在两台 NVIDIA DGX Spark 集群上对开源权重模型做「行为干预」——比如想改掉模型的拒答倾向、调整某种输出风格,又不想从头微调。它不预设具体模型和层号,而是先扫描 checkpoint 的结构,再基于证据推荐干预路线:可以是直接改权重、加运行时旁路、做有界残差修正,实在不行才回退到训练。整个流程强调可验证,要求量化格式下零编辑往返测试通过,并用可恢复的证据台账记录计划、候选、发布各道关卡。适合做模型对齐、行为安全、量化部署的研究员和推理工程师,尤其是手上有 DGX Spark 双机、需要系统化做模型编辑实验的人;普通应用开发者或只调 API 的人关系不大。
★ 73 24h +1 ⑂ 23 创建 13 天前 更新 13 天前