divagr18/QwenPU

QwenPU 是一个把「计算机」编译进大模型权重里的实验项目：它在 Qwen3.5-4B 的权重中硬编码了一颗 32 位 RISC-V CPU 和一个向量单元，让模型在自己的前向传播过程中，把另一个小模型 Karpathy 的 stories260K 当作 C 程序跑起来并写出故事。所有新增权重都不是训练出来的，而是由编译器逐个算出的，因此每一步都可精确复现。相比把每条指令拆成大量 token 的早期方案，向量单元把整行矩阵结果压缩成几个 token 流出，效率提升了一个数量级。目前它还处于早期阶段，完整检查点有 26.7 GB，需要 40 GB 以上显卡才能整体加载。对多数从业者来说这更像一个展示「权重即硬件」可能性的概念验证，值得花两分钟了解思路；真正会动手研究的是关注模型内部计算、权重编译和新型推理架构的研究者与工程师。

Star 趋势

仓库信息