GitHub 热门
共 2 个项目 · 第 1 / 1 页
BerriAI / litellm 模型服务 Python
统一 OpenAI 格式调用 100+ 大模型的 AI 网关
LiteLLM 是一个 AI 网关,用统一的 OpenAI 格式调用 100 多家大模型服务,包括 OpenAI、Anthropic、Bedrock、Azure、VertexAI、vLLM 等,让你不必为每家模型单独适配 SDK、鉴权和请求格式。它既能作为 Python 库直接嵌进代码,也能部署成团队共用的代理服务,换模型供应商时不用改业务代码。除了转发请求,它还内置了虚拟密钥管理、按团队或项目的花费统计、内容护栏、负载均衡和调用日志,相当于给公司的大模型调用加了一层统一管控和计费的中间层。适合需要在生产环境里管理多家模型、控制成本和权限的团队,比如负责 LLM 应用的后端工程师、平台工程或 MLOps 岗位;如果你只是写写脚本调用单一模型,和你关系不大。
★ 62k 24h +51 ⑂ 13k 创建 2023-07-27 更新 30 分钟前
xtekky / gpt4free 模型服务 Python
聚合多家大模型的统一入口与 OpenAI 兼容网关
gpt4free(g4f)是一个把各家大模型聚合到统一入口的开源项目,可以理解为「模型界的聚合器」:你只对接它一个接口,背后能切换 GPT、Claude、Gemini、DeepSeek、Kimi 等不同厂商的模型,还附带本地网页聊天界面、Python/JavaScript 客户端和兼容 OpenAI 格式的 API。它主要解决的是反复在各家控制台申请 key、切换 SDK 的麻烦——比如你想快速对比同一个 prompt 在 DeepSeek v3.2 和 Gemini 3 上的输出差异,或者给内部工具接一个能随时换底层模型的统一网关,用它都能省不少事。适合需要频繁试用多模型、做模型对比评测的算法和应用开发者,以及想低成本搭一个聊天界面的独立开发者;如果你只用单一厂商的官方 API,或者对模型来源的合规性有严格要求,那它跟你关系不大,因为部分渠道来自逆向工程,稳定性与合规风险需要自行评估。
★ 67k 24h +5 ⑂ 13k 创建 2023-03-29 更新 2 天前