GitHub 热门
共 2 个项目 · 第 1 / 1 页
JustAResearcher / gpu-unlock-ada 推理部署 C
解锁 RTX 4090 tensor core 速度档位的内核模块,FP16 吞吐翻倍
这是一个 Linux 内核模块,能在 NVIDIA 官方驱动加载前修改 RTX 4090(以及实验性的 RTX 4070 Ti SUPER)的 GPU 寄存器,解锁被屏蔽的 tensor core 速度档位。实测在 450W 功耗墙不变的情况下,FP16/BF16 配 FP32 累加的指令吞吐从约 165 TF/s 翻倍到 330 TF/s,INT8 和普通 FP32 不受影响,且能扛过 PCIe 复位和驱动初始化。但要注意它不是「整机推理提速两倍」:真实 cuBLAS GEMM 视矩阵形状只提升 12%–34%,量化 MoE 推理场景基本零收益,功耗墙下还会被压回。适合两类人看:跑 FP16/BF16 训练或稠密 GEMM 的个人研究者、想压榨二手 4090 算力的炼丹玩家,以及对 GPU 底层寄存器和驱动交互好奇的系统工程师;如果你主要做量化推理或生产部署,这项目和你关系不大,还可能带来稳定性风险。
★ 4.7k 24h +18 ⑂ 612 创建 12 天前 更新 10 天前
mmm1712 / Local_AI_esp32 推理部署 C
在ESP32-S3单片机上离线运行的30M参数小语言模型
这是一个把约3000万参数的decoder-only Transformer语言模型塞进ESP32-S3单片机里离线跑的个人实验项目,模型从零训练,权重和分词器已随仓库提供,不需要联网也不需要API key。它在XIAO ESP32-S3加圆形触摸屏上提供触屏键盘聊天界面,在DevKit上则通过USB对话,能回几句简单寒暄,比如问how are you会答I'm doing okay。但能力非常有限:上下文只有64个token,一次最多生成24个token,速度慢到每秒不到1.5个词,回答容易重复跑题,连基本算术都不可靠,作者自己也标明这是能力受限的个人实验。对多数互联网和AI从业者来说它没有实用价值,值得看的主要是做嵌入式AI、端侧推理或对Transformer在极低算力设备上如何量化部署感兴趣的人,以及想了解LLM从训练到固件落地全流程的硬件爱好者。
★ 109 24h +1 ⑂ 21 创建 22 天前 更新 11 天前