BerriAI/litellm

LiteLLM 是一个 AI 网关，用统一的 OpenAI 格式调用 100 多家大模型服务，包括 OpenAI、Anthropic、Bedrock、Azure、VertexAI、vLLM 等，让你不必为每家模型单独适配 SDK、鉴权和请求格式。它既能作为 Python 库直接嵌进代码，也能部署成团队共用的代理服务，换模型供应商时不用改业务代码。除了转发请求，它还内置了虚拟密钥管理、按团队或项目的花费统计、内容护栏、负载均衡和调用日志，相当于给公司的大模型调用加了一层统一管控和计费的中间层。适合需要在生产环境里管理多家模型、控制成本和权限的团队，比如负责 LLM 应用的后端工程师、平台工程或 MLOps 岗位；如果你只是写写脚本调用单一模型，和你关系不大。

Star 趋势

话题标签

仓库信息