3145544645/gouji

构屎 GOUJI 是一个纯 C++/CUDA 写的微型模型项目，主打 2 bit 三值权重（-1/0/+1）、零 Python 依赖，目前的实际定位是一个设备端的命令路由层：把「读一下那个日志」这类自然语言意图分类成 read_file 等具体工具调用，支持 9 个基础工具，靠联想记忆实现零训练参数的写入——教一句新说法 23 微秒生效，不用梯度下降。实测在 8 GB 笔记本 GPU 上检索延迟 0.22 ms，留出集路由准确率 100%，三值量化比 int4 快约 1.9 倍。它明确不聊天、不推理、不写代码，语料外的动词会直接拒答。值得看的是对端侧推理、低比特量化、非 Transformer 路线感兴趣的研究者和 C++ 工程师，以及想了解「用检索加规则替代大权重」这一思路的人；只想找可用聊天模型或生产级 Agent 框架的读者可以跳过。

Star 趋势

话题标签

仓库信息