eliasbiondo/antirion

Antirion 是一个用 Rust 写的 LLM 网关，可以理解为 LiteLLM 或 Bifrost 的高性能替代品：部署在你的应用和各家模型厂商之间，用一个统一入口转发所有 LLM 请求，客户端可以用 OpenAI、Anthropic、Gemini 或 Bedrock 的协议说话，由它翻译到 OpenAI、Bedrock、Vertex、DeepSeek、vLLM 等任意后端。它内置管理控制台，能做故障转移和按成本、延迟、负载的路由策略，也能按组织、团队、项目、密钥维度设置美元或 token 预算和限流，还提供 PII、密钥、prompt 注入等安全护栏和请求日志。官方基准显示它在 4 vCPU 机器上以每秒数千请求时开销不到 1 毫秒，内存占用远低于 LiteLLM。适合需要自建 LLM 网关的平台工程、AI 基础设施和后端团队，尤其是已经在用 LiteLLM 但被性能或资源消耗困扰的人；如果你只是调用 API 做原型，和你关系不大。

Star 趋势

话题标签

仓库信息