在自有 GPU 上本地跑 GLM、DeepSeek、MiniMax 超大 MoE 模型的推理引擎
Star2.4k
24h 新增+44
7 天新增—
Fork348
Issue107
语言Cuda
项目介绍
更新于 1 天前
Project Maya 是一套本地大模型推理引擎，让你在自己的显卡上跑 GLM-5.3-Flash、DeepSeek-V4.1-Flash-1017 和 MiniMax-M3.1-Flash 这几个几百 B 参数的 MoE 巨型模型，从一张卡到 16 张，NVIDIA 或 AMD、Linux 或 Windows 都行。它的核心思路是分层调度：把对话最常用的专家放在显存里，次常用的放内存，其余的放 NVMe SSD，边聊边换，并根据你的硬件自动调优，同时提供 OpenAI 和 Anthropic 兼容的 API，方便接入 coding agent。官方给出的实测是双 5090 加 4090 能到 149 tokens/s，单张 5090 也有 30+。适合想在本地或私有环境跑大模型、又不想把数据传出去的 AI 工程师、算法和 infra 岗位，尤其是需要给多个 agent 会话或小团队提供统一推理接口的场景；如果你平时只调用云端 API，和你关系不大。
上手成本：中
Star 趋势
话题标签
cudadeepseekdeepseek-v4glmglm-5llmllm-inferencelocal-llmminimaxminimax-m3mixture-of-expertsmoeopenai-apiquantizationrocmself-hosted
仓库信息
| License | MIT |
| 创建时间 | 2026-10-06 |
| 最后推送 | 21 小时前 |
| 热度分 | 137.0 |