GitHub 热门
共 4 个项目 · 第 1 / 1 页
Zagitta / gpu-unlock 基础设施 C
解除 GeForce 显卡 Tensor Core 半速限制,AI 算力最高翻倍
GeForce 消费级显卡的 Tensor Core 在 FP16/BF16/TF32 矩阵运算上被 NVIDIA 人为限制在半速,而同款芯片的专业卡却跑满速。gpu-unlock 是一个 Linux 内核模块,在开机时、NVIDIA 驱动加载前解除这个限制,不改驱动、不刷 VBIOS,驱动更新后也无需重做。实测 RTX 3060 的 BF16 算力从 27 提升到 51 TFLOPS,4090 峰值翻倍;落到真实负载上,LLM prefill 提速 25–55%、LoRA 微调提速 25–50%、ComfyUI 出图提速 30–55%,但 decode 和量化模型基本无感。适合手握 20/30/40 系显卡、在 Linux 上跑本地推理或微调的个人开发者和算法工程师,用来白嫖一倍算力;Windows 用户和 50 系显卡用户则用不上。
★ 16k 24h +456 ⑂ 1.6k 创建 18 天前 更新 7 天前
JustAResearcher / gpu-unlock-ada 推理部署 C
解锁 RTX 4090 tensor core 速度档位的内核模块,FP16 吞吐翻倍
这是一个 Linux 内核模块,能在 NVIDIA 官方驱动加载前修改 RTX 4090(以及实验性的 RTX 4070 Ti SUPER)的 GPU 寄存器,解锁被屏蔽的 tensor core 速度档位。实测在 450W 功耗墙不变的情况下,FP16/BF16 配 FP32 累加的指令吞吐从约 165 TF/s 翻倍到 330 TF/s,INT8 和普通 FP32 不受影响,且能扛过 PCIe 复位和驱动初始化。但要注意它不是「整机推理提速两倍」:真实 cuBLAS GEMM 视矩阵形状只提升 12%–34%,量化 MoE 推理场景基本零收益,功耗墙下还会被压回。适合两类人看:跑 FP16/BF16 训练或稠密 GEMM 的个人研究者、想压榨二手 4090 算力的炼丹玩家,以及对 GPU 底层寄存器和驱动交互好奇的系统工程师;如果你主要做量化推理或生产部署,这项目和你关系不大,还可能带来稳定性风险。
★ 4.7k 24h +18 ⑂ 612 创建 12 天前 更新 10 天前
drawthingsai / local-code-community Agent框架 C
Mac/iOS 上离线运行大模型的私有编码与办公 Agent
Local Code 是一款跑在 Mac、iPad 和 iPhone 上的私有 AI 编程与办公 Agent,可以理解为把 Claude Code 这类编码助手搬到本地设备、并内置了一整套工具链的应用。它自带针对 Apple Silicon 优化的 LLM 推理引擎,能离线运行 DeepSeek 4.1、Qwen 等量化模型,也支持接 Anthropic、OpenAI 等云端模型。应用内集成了 Python、Node.js、shell、LibreOffice、FFmpeg 乃至浏览器和绘图工具,Agent 可以在你授权的文件夹里完成数据分析、画图表、写文档和幻灯片、开发软件等完整任务,且所有命令都在 App Sandbox 内执行,无法接触全盘。任务和对话可持久保存、生成中断能续跑、长对话有磁盘级上下文缓存。适合关注本地大模型落地、隐私敏感场景的 AI 应用开发者、Mac 端工具开发者,以及想在无网环境下用 Agent 干活的从业者参考其工程实现。
★ 115 24h +2 ⑂ 8 创建 14 天前 更新 3 小时前
mmm1712 / Local_AI_esp32 推理部署 C
在ESP32-S3单片机上离线运行的30M参数小语言模型
这是一个把约3000万参数的decoder-only Transformer语言模型塞进ESP32-S3单片机里离线跑的个人实验项目,模型从零训练,权重和分词器已随仓库提供,不需要联网也不需要API key。它在XIAO ESP32-S3加圆形触摸屏上提供触屏键盘聊天界面,在DevKit上则通过USB对话,能回几句简单寒暄,比如问how are you会答I'm doing okay。但能力非常有限:上下文只有64个token,一次最多生成24个token,速度慢到每秒不到1.5个词,回答容易重复跑题,连基本算术都不可靠,作者自己也标明这是能力受限的个人实验。对多数互联网和AI从业者来说它没有实用价值,值得看的主要是做嵌入式AI、端侧推理或对Transformer在极低算力设备上如何量化部署感兴趣的人,以及想了解LLM从训练到固件落地全流程的硬件爱好者。
★ 109 24h +1 ⑂ 21 创建 22 天前 更新 11 天前