wici-ai/inferssd

InferSSD 是一个基于 llama.cpp 的本地推理引擎，核心思路是把 MoE 模型的专家权重放在 SSD 上按需流式加载，而不是全部塞进内存或显存，因此能在内存远小于模型体积的机器上跑超大模型。它直接使用标准 GGUF 文件，自带浏览器聊天界面和 OpenAI 兼容 API，目前已支持 DeepSeek-V4.1-Flash-1017（763B 总参数、8-16B 激活）、Muse-Spark-Open（816B）和 Qwen3.6-35B-A3B 等模型。官方测试显示，在 RTX 5090 上预填充速度可达 llama.cpp 的 20 倍以上，MacBook Pro 上也有 3-5 倍提升。适合想在单机上本地跑 DeepSeek、Qwen 系列大 MoE 模型的算法工程师、推理平台开发者，以及没有多卡集群但想体验超大模型的研究者；如果你只用 API 调用云端模型，这个项目和你关系不大。

Star 趋势

话题标签

仓库信息