把一块 SIMT GPU 编译进 Qwen3.5 权重的实验模型
Star112
24h 新增—
7 天新增—
Fork16
Issue1
语言Python
项目介绍
更新于 1 天前
qgpu 是一个实验性项目:在 Qwen3.5-2B 的权重里直接塞进了一块 SIMT GPU——45 层编译出来的 transformer 排在 Qwen 自己 24 层之前,用 Gated DeltaNet 层的循环状态充当寄存器和显存。它不是插件也不是模拟器,模型自己逐 token 写出每次 CUDA kernel 启动的每一步,从分支、循环到 atomicAdd 和 warp shuffle 都能跑,参考解释器在 49 个测试 kernel 上与真实 NVIDIA Tesla T4 结果完全一致,而文本能力几乎不受影响。聊天时问它一个计算,它会现场编译 CUDA 到 PTX、降级成机器块,再由模型自己把每条指令的执行结果写出来,旁边还有面板实时显示 warp 调度和流水线。这更像一个展示「transformer 能当通用计算机器」的研究玩具,适合对模型内部机制、循环注意力或 AI 计算极限好奇的研究者和工程师;想实际做数值计算的人用不上它。
上手成本:中
Star 趋势
仓库信息
| License | MIT |
| 创建时间 | 2026-11-01 |
| 最后推送 | 3 天前 |
| 热度分 | 0.0 |