BerriAI/litellm

⭐ 42,276 Stars 🍴 7,017 Forks Python NOASSERTION

提供Python SDK和代理服务器,调用100+ LLM API,支持成本跟踪、安全限制、负载均衡和日志记录。

来源:据 README 描述 查看 GitHub 仓库 →

核心功能

多语言模型支持

支持调用100+ LLM API,包括OpenAI、Azure、Cohere、Anthropic等。

来源:据 README 描述
成本跟踪

提供成本跟踪功能,帮助用户监控和管理API调用成本。

来源:据 README 描述
安全限制

提供安全限制功能,确保API调用符合预设的安全规则。

来源:据 README 描述
负载均衡

支持负载均衡,提高系统稳定性和响应速度。

来源:据 README 描述
日志记录

提供日志记录功能,方便用户追踪和分析API调用情况。

来源:据 README 描述

技术架构

代码目录结构清晰,包含.circleci、.github、.devcontainer等子目录,以及多个Python文件和配置文件。

来源:代码目录结构

技术栈

key_deps: litellm, openai, a2a_protocol, mcp  |  language: Python  |  framework: 无特定框架,主要使用Python标准库和第三方库

来源:据 requirements.txt / package.json / 代码目录结构

快速上手

安装: pip install litellm 使用示例: from litellm import completion response = completion(model="openai/gpt-4o", messages=[{"role": "user", "content": "Hello!"}])
来源:README 中的 Installation/Quick Start 部分

使用场景

适用于需要调用多个LLM API、进行成本跟踪、安全限制、负载均衡和日志记录的场景,如企业级AI应用、个人开发者等。

来源:README 中的相关段落

最新版本

v1.83.1-nightly (2026-04-03): 测试新的签名过程,可用于测试。 v1.83.0-nightly (2026-03-31): 验证Docker镜像。 v1.82.6.rc.2 (2026-03-24): 修复了日志记录问题。 v1.82.6.dev2 (2026-03-24): 修复了代理服务器的问题。 v1.82.3-stable.patch.2 (2026-03-24): 修复了客户端关闭问题。

来源:GitHub Releases
透明度声明
本页内容由 AI(大语言模型)基于以下公开材料自动生成:GitHub README、代码目录结构、依赖文件、Release 信息。 分析时间:2026-04-06 12:35。质量评分:100/100。 所有结论均标注了数据来源。如发现不准确之处,欢迎反馈。

数据来源: README、GitHub API、依赖文件