提供Python SDK和代理服务器,调用100+ LLM API,支持成本跟踪、安全限制、负载均衡和日志记录。
来源:据 README 描述 查看 GitHub 仓库 →支持调用100+ LLM API,包括OpenAI、Azure、Cohere、Anthropic等。
来源:据 README 描述提供成本跟踪功能,帮助用户监控和管理API调用成本。
来源:据 README 描述提供安全限制功能,确保API调用符合预设的安全规则。
来源:据 README 描述支持负载均衡,提高系统稳定性和响应速度。
来源:据 README 描述提供日志记录功能,方便用户追踪和分析API调用情况。
来源:据 README 描述代码目录结构清晰,包含.circleci、.github、.devcontainer等子目录,以及多个Python文件和配置文件。
来源:代码目录结构key_deps: litellm, openai, a2a_protocol, mcp | language: Python | framework: 无特定框架,主要使用Python标准库和第三方库
来源:据 requirements.txt / package.json / 代码目录结构适用于需要调用多个LLM API、进行成本跟踪、安全限制、负载均衡和日志记录的场景,如企业级AI应用、个人开发者等。
来源:README 中的相关段落v1.83.1-nightly (2026-04-03): 测试新的签名过程,可用于测试。 v1.83.0-nightly (2026-03-31): 验证Docker镜像。 v1.82.6.rc.2 (2026-03-24): 修复了日志记录问题。 v1.82.6.dev2 (2026-03-24): 修复了代理服务器的问题。 v1.82.3-stable.patch.2 (2026-03-24): 修复了客户端关闭问题。
来源:GitHub Releases