physicsdolphin / nv-uefi-unlocker
推理部署
Rust
UEFI 阶段解锁 RTX 20/30/40 显卡 Tensor 算力,AI 负载最高提速 2.6 倍
这是一个在操作系统启动前、UEFI 阶段解除 NVIDIA 显卡 Tensor 算力限制的工具,可以理解为「不刷 VBIOS 的显卡解锁器」:从 U 盘引导,在驱动加载前把被压制的张量性能放开,之后正常进入 Windows、Linux 或 Hackintosh,断电即恢复原状。它主要解决的是 RTX 20/30/40 系显卡在 AI 负载下被限速的问题,社区实测 FP16/BF16 吞吐最高约 2.6 倍,图像视频生成提速 14% 到 75%,LLM 推理 prefill 最高提升 19%。适合手里有闲置或主力 RTX 30/40 显卡、跑 ComfyUI 生图、Stable Diffusion、本地 LLM 推理或 DirectML 负载的个人开发者和小团队——如果你正抱怨显卡跑 AI 半速、又不想折腾刷 BIOS,值得花时间看兼容性矩阵确认自己的型号;纯做后端、前端或不碰本地推理的人关系不大。
★ 1.7k
24h +83
⑂ 170
创建 10 天前
更新 28 分钟前
earendil-works / djs
推理部署
Rust
可随时挂起恢复的 Rust 写 JS/TS 引擎,主打 wasm 沙箱脚本执行
djs 是一个用 no_std Rust 写的 JavaScript/TypeScript 引擎,主要跑在 wasm32 上,定位类似 QuickJS 的替代品,但专为「模型写的脚本调用工具、处理结果」这类场景优化。它的核心卖点是可随时挂起恢复:解释器不在 Rust 栈上递归,能在任意两条指令之间停下再续上,连 getter、Promise 任务、生成器和 async 函数内部也行,配合把等待中的运行状态写成可再加载的续体转储,让一次工具调用可以跨进程持久化。VM 状态全部放在一块字节 arena 里,创建实例只需复制预置镜像,约 40 微秒,且时钟、随机数都由宿主注入,同样输入产出逐字节一致的堆镜像,天然适合需要确定性和沙箱隔离的场景。test262 通过率 99.9%,wasm 下部分负载比 quickjs-wasi 更快。值得看的是做 Agent 运行时、边缘/浏览器内嵌脚本引擎、或需要在服务端安全执行不可信 JS 的工程师;纯前端或后端业务开发基本用不上。
★ 292
24h +26
⑂ 6
创建 3 天前
更新 35 分钟前
NVIDIA / spark-local-inference
推理部署
Rust
NVIDIA 面向本地 GPU 的 Rust 推理服务,主打长对话与编码 Agent
Flare 是 NVIDIA 开源的本地推理服务,用 Rust 写成,专门面向搭载 SM120/SM121 GPU 的工作站和 DGX Spark 这类紧凑机型,目标是把机器的显存、带宽和算力榨干,同时让长对话和反复调用工具时的生成保持流畅。它的做法是构建期用 PyTorch、Transformers 和 FlashInfer 加载模型、调优 kernel 并捕获 CUDA graph,产出运行时包后由 Rust 直接服务,全程不碰 Python;对话状态(含 KV cache 和循环状态)被整体规划,方便复用、分支和恢复。作者明确说它不是 vLLM 的替代品,而是针对特定硬件和模型的专用选项,属于研究原型。如果你在本地跑编码 Agent、需要长时间多轮对话或频繁工具调用,又恰好用的是这类 NVIDIA GPU,可以看看;做生产部署或用其他硬件的人关系不大。
★ 767
24h +3
⑂ 90
创建 15 天前
更新 8 小时前
hongfaqiu / strata-manager
推理部署
Rust
Strata 本地推理引擎的桌面管理面板
Strata Manager 是本地 LLM 推理引擎 Strata 的桌面管理工具,可以把它理解成本地模型版的「控制面板」:引导首次安装、一键下载和切换模型、管理服务启停,还能在图形界面里直接聊天、查看 API 调用统计和硬件占用情况。它解决的麻烦是,原本要在命令行里折腾的引擎安装、版本升级、参数调优和性能测试,现在都收进一个工作区,新引擎还会先试运行、失败自动回滚,不会把现有环境搞坏。另外它内置了可选的公开排行榜,方便对比不同模型的推理表现。适合在自己电脑上跑本地模型的开发者、算法工程师,以及想给团队搭一套可控本地推理服务的运维人员;如果你只用云端 API、从不碰本地部署,这个项目和你关系不大。
★ 51
24h +1
⑂ 4
创建 25 天前
更新 15 小时前