divagr18 / qwenputer
可解释性/AI研究
Python
把 RISC-V CPU 编译进 Qwen3.5-4B 权重,用 DeltaNet 状态当内存
Qwenputer 把一台 32 位 RISC-V CPU 直接编译进了 Qwen3.5-4B 的权重里:它在原模型前面加了 11 层 transformer,权重全部由编译器算出而非训练得来,并把模型自带的 Gated DeltaNet 状态当作 RAM 使用——每个 head 的一行就是一个内存单元,存寄存器、程序计数器和调用栈。模型能在前向传播中执行 C 和 MicroPython 代码,通过 riscv-tests 测试,还能在内存里跑一个 260K 参数的小模型写故事。实际效果是大数乘除法等算术题从基座的 55~90 分拉到 97.5 以上,接近调用真实 Python 解释器的水平,且模型的正常文本行为几乎没变。对可解释性、模型内计算和「用权重替代外部工具」这条路线感兴趣的研究者值得花时间看;日常做应用开发的工程师关系不大,但如果你在琢磨 LLM 算术不稳、或想让模型摆脱外部沙箱执行代码,这是个很有启发性的实验。
★ 665
24h +26
⑂ 80
创建 16 天前
更新 4 天前