zylon-ai/private-gpt

PrivateGPT 是一个开源的 API 层，把本地跑的大模型包装成可直接用于生产的 AI 应用后端，可以理解为「本地版的 Claude/OpenAI API」：它自己不运行模型，而是对接任何 OpenAI 兼容的推理服务（Ollama、llama.cpp、vLLM 等），在其上补齐消息流式接口、文件与文档摄取、带引用的 RAG 检索、网页搜索与代码执行等内置工具、MCP 连接器、数据库和 CSV 的结构化访问等高层能力。典型场景是企业内网部署：比如把公司文档喂进去做带出处的问答，或让 Claude Desktop、Word/Excel 插件、n8n 工作流这些现成工具直接以本地模型为后端，数据不出机房。值得看的是需要私有化 AI 的后端和平台工程师、正在评估 on-premise 方案的技术负责人，以及想给内部工具快速接上本地模型的开发者；如果你只用云端 API 或不涉及 AI 应用开发，和你关系不大。

Star 趋势

话题标签

仓库信息