litellm 是什么?

LiteLLM 是一个开源的 AI 网关:用统一接口、以 OpenAI 格式调用 100+ 个 LLM 提供商(OpenAI、Anthropic、Gemini、Bedrock、Azure、VertexAI 等)。它既可作为 Python SDK 直接集成,也可部署为代理服务器(AI Gateway)作为团队/组织的集中服务,自带成本跟踪、护栏(guardrails)、负载均衡、日志、虚拟 key 与管理后台。它用你自己的各家提供商 API key 去调官方 API、做格式与运维的统一(区别于把消费级订阅转售/池化的灰色中转)。许可为开源核心 + 企业版(仓库 license 标 NOASSERTION),Python,约 48,045 stars,出自 YC W23 的 BerriAI,被 Netflix、Stripe 等采用。

⭐ 42,276 Stars 🍴 7,017 Forks Python NOASSERTION 作者: BerriAI
来源:README.md(What is LiteLLM、Why LiteLLM、OSS Adopters、描述);GitHub 仓库元数据(stars=48045、language=Python、license=NOASSERTION) 查看 GitHub 仓库 →

为什么值得关注

应用要同时用多家 LLM 时,各家 SDK、鉴权、请求格式和错误类型都不同,集成与运维很麻烦。LiteLLM 用「一个 OpenAI 兼容接口接 100+ 模型 + 生产级网关(虚拟 key、花费跟踪、护栏、负载均衡、后台)」解决这一痛点,性能也强(1k RPS 下 P95 8ms),被大量知名公司采用,是 LLMOps 的事实标准之一,因而长期高热。截至数据采集约 48,045 stars。

来源:README.md(Why LiteLLM、OSS Adopters、benchmarks);GitHub 仓库元数据(stars=48045)

核心功能

统一调用 100+ LLM

一个 OpenAI 兼容接口调 100+ 提供商,免去逐家 SDK/鉴权/格式差异;换提供商无需改代码。

来源:README.md(What is LiteLLM、Why LiteLLM → Unified API / Drop-in OpenAI compatibility)
生产级 AI 网关

代理服务器自带虚拟 key、花费跟踪、护栏、负载均衡、日志与管理后台,适合团队/组织集中治理。

来源:README.md(Why LiteLLM → Production-ready gateway)
SDK 与网关双形态 + 高性能

可作为 Python SDK 直接集成,或部署为集中网关;性能强(1k RPS 下 P95 约 8ms)。

来源:README.md(What is LiteLLM、Why LiteLLM 的 8ms P95)
广泛采用与生态

被 Netflix、Stripe 等采用,集成 LangChain、Google ADK、OpenAI Agents SDK 等,并可作为 MCP 网关。

来源:README.md(OSS Adopters、topics)

技术架构

LiteLLM 有两种形态:① Python SDK——在代码里用统一接口调任意提供商,OpenAI 兼容、换提供商不用改代码;② 代理服务器(AI Gateway/LLM Gateway)——部署为集中服务,提供虚拟 key、按 key 的花费跟踪、护栏、跨模型负载均衡、日志与管理后台,并可作为 MCP 网关。它通过适配各家提供商(OpenAI/Anthropic/Gemini/Bedrock/Azure/VertexAI/Cohere/Sagemaker/HuggingFace/vLLM/NVIDIA NIM 等)把请求统一成 OpenAI 格式(或原生格式)。强调用使用者自己的提供商凭证调官方 API。性能上宣称 1k RPS 下 P95 约 8ms。可经 pip 安装 SDK 或一键部署到 Render/Railway 等。

来源:README.md(What is LiteLLM、Why LiteLLM、描述的 provider 列表、benchmarks、Deploy 按钮、topics 含 mcp-gateway)

项目知识图谱

知识图谱:项目核心节点(中心)+ 核心功能(内环六边形)+ 关键技术依赖(外环 chip) 各家 LLM 提供商 API(OpenAI/Anthropic/Gemini/Bedrock/Azure/VertexAI 等,用你自己的 key)各家 LLM 提供商… OpenAI 兼容协议 统一调用 100+ LLM 生产级 AI 网关 SDK 与网关双形态 + 高性能SDK 与网关双形态 + 高… 广泛采用与生态 litellm 项目本体 核心功能 关键依赖

中心为项目本体,内环 = 核心功能模块,外环 = 关键技术依赖;按 deep.json 中的 core_features 与 tech_stack.key_deps 自动生成

技术栈

语言Python框架AI Gateway(代理服务器)+ Python SDK
各家 LLM 提供商 API(OpenAI/Anthropic/Gemi…OpenAI 兼容协议
pip 安装 SDK;代理可自托管或一键部署到 Render/Railway;含管理后台
来源:README.md(描述的 provider 列表、Deploy 按钮、Proxy Server);GitHub 仓库元数据(language=Python)

快速上手

作为 SDK:pip install litellm,在代码里用统一接口(OpenAI 兼容)调任意提供商,凭证用你自己的各家 API key。作为 AI Gateway:部署 LiteLLM Proxy Server(可自托管,或用 Render/Railway 一键部署模板,也有官方 Hosted Proxy 与企业版),配置各提供商与虚拟 key,即可集中做花费跟踪、护栏、负载均衡与日志,并暴露 OpenAI 兼容端点供团队调用。详见 docs.litellm.ai。注意:它面向「用你自己合法的提供商凭证统一接入官方 API」,请按各提供商条款使用。
来源:README.md(What is LiteLLM、Proxy Docs、Deploy 按钮)

使用场景

适合需要在应用或团队层面统一接入多家 LLM 的开发者与组织:用 SDK 让代码以 OpenAI 格式调任意模型、随时换供应商;用网关为团队集中发放虚拟 key、跟踪与控制花费、设护栏、做跨模型负载均衡与日志审计;以及作为 MCP 网关或对接 LangChain/Agents SDK。它是 LLMOps 的基础设施,适合多模型、多团队、需要成本与治理可控的生产场景。使用时以你自己合法获得的提供商凭证调用官方 API。

来源:README.md(Why LiteLLM、OSS Adopters、topics)

优势与局限

优势

  • 一个 OpenAI 兼容接口接 100+ LLM,换供应商不改代码,集成成本骤降
  • 生产级网关:虚拟 key、花费跟踪、护栏、负载均衡、日志、后台
  • 性能强(1k RPS P95 8ms),被 Netflix/Stripe 等大规模采用
  • SDK + 网关双形态、生态集成广,可作 MCP 网关

局限

  • 许可为开源核心 + 企业版混合(NOASSERTION),部分高级功能属企业版
  • 用你自己的提供商凭证调官方 API,仍需遵守各家服务条款与配额
  • 作为网关需运维(部署、密钥与成本治理),有一定工程投入
  • 统一抽象下个别提供商的特有能力对齐可能有边界
来源:README.md(Why LiteLLM、Enterprise Tier、License NOASSERTION)

最新版本

本页未列出具体版本号;LiteLLM 在 PyPI 上高频发布,文档在 docs.litellm.ai。它持续扩展支持的提供商、网关治理能力(花费/护栏/负载均衡/虚拟 key)与企业特性,并强化 MCP 网关与各 Agent 框架集成。

来源:README.md(PyPI 徽章、Why LiteLLM、topics)

总结评价

LiteLLM 是 LLMOps 的事实标准之一:用一个 OpenAI 兼容接口接入 100+ 模型、换供应商不改代码,并提供虚拟 key、花费跟踪、护栏、负载均衡等生产级网关能力,性能强、被 Netflix/Stripe 等大规模采用。它用你自己合法的提供商凭证调官方 API,是正经的统一接入层(与订阅转售/池化的灰色中转有本质区别)。对要在应用或团队层面统一、治理多模型调用的开发者和组织非常实用。要清楚它是开源核心 + 企业版混合、需自行运维网关、并遵守各家条款。作为 AI 网关,它成熟、广用、工程化扎实。

来源:综合 README.md 的定位、网关能力与采用情况
透明度声明
本页内容由 AI(大语言模型)基于以下公开材料自动生成:GitHub README、代码目录结构、依赖文件、Release 信息。 分析时间: 2026-05-24 13:42. 质量评分: 100/100.

数据来源:README、GitHub API、依赖文件