在本地 PC 跑多款大模型并提供 OpenAI/Anthropic 兼容接口
Star825
24h 新增+41
7 天新增—
Fork118
Issue25
语言C++
项目介绍
更新于 1 天前
PolyStrata 是一个本地大模型推理引擎，让普通 PC 跑起通常需要服务器的模型，数据完全不出本机。它内置 Qwen3.8-Flash-Next、GLM 5.3 Flash、DeepSeek V4 Flash、Qwen3.6、Gemma 4、MiniCPM-V 等十余款模型，一键安装后在本机暴露 OpenAI 和 Anthropic 兼容接口，可直接对接 Claude Code 等编程 Agent 或自己的应用。它支持 Windows 和 Linux，8GB 显存的笔记本也能跑多个 35B 级 MoE 模型，长上下文对显存占用也做了优化。适合想在本地跑模型做开发调试、注重数据隐私的 AI 工程师和后端开发者；如果你只用云端 API，关系不大。
上手成本：中
Star 趋势
话题标签
anthropic-apicudagemmaggufglminference-enginellmlocal-llmmixture-of-expertsopenai-apiqwenself-hostedspeculative-decoding
仓库信息
| License | MIT |
| 创建时间 | 2026-10-06 |
| 最后推送 | 1 天前 |
| 热度分 | 123.0 |