LiteLLM 是一个开源的 AI 网关:用统一接口、以 OpenAI 格式调用 100+ 个 LLM 提供商(OpenAI、Anthropic、Gemini、Bedrock、Azure、VertexAI 等)。它既可作为 Python SDK 直接集成,也可部署为代理服务器(AI Gateway)作为团队/组织的集中服务,自带成本跟踪、护栏(guardrails)、负载均衡、日志、虚拟 key 与管理后台。它用你自己的各家提供商 API key 去调官方 API、做格式与运维的统一(区别于把消费级订阅转售/池化的灰色中转)。许可为开源核心 + 企业版(仓库 license 标 NOASSERTION),Python,约 48,045 stars,出自 YC W23 的 BerriAI,被 Netflix、Stripe 等采用。
来源:README.md(What is LiteLLM、Why LiteLLM、OSS Adopters、描述);GitHub 仓库元数据(stars=48045、language=Python、license=NOASSERTION) 查看 GitHub 仓库 →应用要同时用多家 LLM 时,各家 SDK、鉴权、请求格式和错误类型都不同,集成与运维很麻烦。LiteLLM 用「一个 OpenAI 兼容接口接 100+ 模型 + 生产级网关(虚拟 key、花费跟踪、护栏、负载均衡、后台)」解决这一痛点,性能也强(1k RPS 下 P95 8ms),被大量知名公司采用,是 LLMOps 的事实标准之一,因而长期高热。截至数据采集约 48,045 stars。
来源:README.md(Why LiteLLM、OSS Adopters、benchmarks);GitHub 仓库元数据(stars=48045)一个 OpenAI 兼容接口调 100+ 提供商,免去逐家 SDK/鉴权/格式差异;换提供商无需改代码。
来源:README.md(What is LiteLLM、Why LiteLLM → Unified API / Drop-in OpenAI compatibility)代理服务器自带虚拟 key、花费跟踪、护栏、负载均衡、日志与管理后台,适合团队/组织集中治理。
来源:README.md(Why LiteLLM → Production-ready gateway)可作为 Python SDK 直接集成,或部署为集中网关;性能强(1k RPS 下 P95 约 8ms)。
来源:README.md(What is LiteLLM、Why LiteLLM 的 8ms P95)被 Netflix、Stripe 等采用,集成 LangChain、Google ADK、OpenAI Agents SDK 等,并可作为 MCP 网关。
来源:README.md(OSS Adopters、topics)LiteLLM 有两种形态:① Python SDK——在代码里用统一接口调任意提供商,OpenAI 兼容、换提供商不用改代码;② 代理服务器(AI Gateway/LLM Gateway)——部署为集中服务,提供虚拟 key、按 key 的花费跟踪、护栏、跨模型负载均衡、日志与管理后台,并可作为 MCP 网关。它通过适配各家提供商(OpenAI/Anthropic/Gemini/Bedrock/Azure/VertexAI/Cohere/Sagemaker/HuggingFace/vLLM/NVIDIA NIM 等)把请求统一成 OpenAI 格式(或原生格式)。强调用使用者自己的提供商凭证调官方 API。性能上宣称 1k RPS 下 P95 约 8ms。可经 pip 安装 SDK 或一键部署到 Render/Railway 等。
来源:README.md(What is LiteLLM、Why LiteLLM、描述的 provider 列表、benchmarks、Deploy 按钮、topics 含 mcp-gateway)中心为项目本体,内环 = 核心功能模块,外环 = 关键技术依赖;按 deep.json 中的 core_features 与 tech_stack.key_deps 自动生成
各家 LLM 提供商 API(OpenAI/Anthropic/Gemi…OpenAI 兼容协议适合需要在应用或团队层面统一接入多家 LLM 的开发者与组织:用 SDK 让代码以 OpenAI 格式调任意模型、随时换供应商;用网关为团队集中发放虚拟 key、跟踪与控制花费、设护栏、做跨模型负载均衡与日志审计;以及作为 MCP 网关或对接 LangChain/Agents SDK。它是 LLMOps 的基础设施,适合多模型、多团队、需要成本与治理可控的生产场景。使用时以你自己合法获得的提供商凭证调用官方 API。
来源:README.md(Why LiteLLM、OSS Adopters、topics)本页未列出具体版本号;LiteLLM 在 PyPI 上高频发布,文档在 docs.litellm.ai。它持续扩展支持的提供商、网关治理能力(花费/护栏/负载均衡/虚拟 key)与企业特性,并强化 MCP 网关与各 Agent 框架集成。
来源:README.md(PyPI 徽章、Why LiteLLM、topics)LiteLLM 是 LLMOps 的事实标准之一:用一个 OpenAI 兼容接口接入 100+ 模型、换供应商不改代码,并提供虚拟 key、花费跟踪、护栏、负载均衡等生产级网关能力,性能强、被 Netflix/Stripe 等大规模采用。它用你自己合法的提供商凭证调官方 API,是正经的统一接入层(与订阅转售/池化的灰色中转有本质区别)。对要在应用或团队层面统一、治理多模型调用的开发者和组织非常实用。要清楚它是开源核心 + 企业版混合、需自行运维网关、并遵守各家条款。作为 AI 网关,它成熟、广用、工程化扎实。
来源:综合 README.md 的定位、网关能力与采用情况