在单张 4090 上跑 552B MoE 模型的本地推理引擎
Star457
24h 新增+8
7 天新增—
Fork58
Issue15
语言C++
项目介绍
更新于 1 天前
Xolotl 是一个本地大模型推理引擎，主打在一台游戏 PC（RTX 4090 + 90GB 内存）上跑起 DeepSeek-V4.1-Flash 这种 552B 参数的 MoE 巨型模型，做法是把专家权重分层摊到显存、内存和 NVMe 硬盘上，靠换页换出换取容量，实测能跑到约 27 tok/s、支持 512K 上下文。它同时支持 GLM-5.3-Flash 和 Qwen3.8 系列，对外提供兼容 OpenAI 和 Anthropic 的 API 接口，可以当作本地版的 Claude Code 或 Cursor 后端来用。项目基于 Strata 深度魔改，附带量化好的模型权重。适合想在本地跑大模型做编码 Agent、又没有多卡服务器的个人开发者或小团队，尤其是关注本地推理、显存优化和 MoE offloading 的工程师；如果你只用云端 API，这个项目和你关系不大。
上手成本：中
Star 趋势
话题标签
cudadeepseekdeepseek-v4ggufglmllm-inferencelocal-llmmixture-of-expertsmoeoffloadingqwenrtx-4090strata
仓库信息
| License | MIT |
| 创建时间 | 2026-10-06 |
| 最后推送 | 1 天前 |
| 热度分 | 24.0 |