AI Gateway(Portkey-AI/gateway)是 Portkey 开源的轻量级 AI 网关,用一套快速友好的 API 路由到大量语言、视觉、音频、图像模型,并集成 50+ 护栏(guardrails)。它定位为「快、可靠、安全」的 LLM 路由层:宣称 <1ms 延迟、约 122kb 体积,提供自动重试/回退、负载均衡、条件路由、护栏与多模态、agentic 工作流及 MCP 网关等能力。README 不同处给出 250+/1600+/2300+ 等模型数量(随版本与口径不同,应以官方文档为准)。MIT 许可,约 11,839 stars,主语言 TypeScript,可 `npx` 本地运行或自托管/云托管,并在推进 Gateway 2.0。
来源:README.md(标题、描述、特性、Quickstart);GitHub 仓库元数据(stars=11839、language=TypeScript、license=MIT) 查看 GitHub 仓库 →应用接入多家 LLM 时面临统一 API、容错、限流、成本与可观测等问题,AI 网关把这些收敛到一层。Portkey Gateway 以轻量、低延迟、自动重试/回退、负载均衡与护栏、并新增 MCP 网关切中 LLMOps 需求,可一行 `npx` 起步、支持自托管与云托管,企业可用性也较好,因而在构建多模型应用的团队中受欢迎。「<1ms 延迟、每天处理 10B+ token」为官方自述指标,实际取决于部署与上游。截至数据采集约 11,839 stars。
来源:README.md(描述、特性、What can you do);GitHub 仓库元数据(stars=11839、pushed_at 2026-05、topics ai-gateway/llm-gateway)用一套友好 API 路由到大量语言/视觉/音频/图像模型,宣称两分钟接入任意 LLM。
来源:README.md(描述、What can you do)提供自动重试、回退、负载均衡与条件路由,降低停机风险并支撑扩展。
来源:README.md(What can you do 的 retries/fallbacks/load balancing)集成 50+ 护栏对请求/响应做校验,并支持多模态与 agentic 工作流。
来源:README.md(描述、What can you do 的 guardrails/multi-modal/agentic)提供带企业鉴权与可观测的 MCP 网关;可 npx 本地、Docker、EC2、云托管部署。
来源:README.md(MCP Gateway、Quickstart、部署指南)Gateway 是用 TypeScript 实现的轻量路由服务,对外暴露与 OpenAI 兼容风格的统一 API,内部把请求转发到各家模型提供商,并在中间层实现可靠性与治理:自动重试、回退(fallback)、负载均衡、条件路由(按规则选模型/提供商)、护栏(请求/响应校验),以及多模态与 agentic 工作流支持;还提供 MCP 网关来统一管理 MCP server 的鉴权与可观测。部署灵活:`npx @portkey-ai/gateway` 本地起服务(默认 :8787,带控制台),也可 Docker、AWS EC2 一键、云托管。正在推进将企业核心能力并入开源的 Gateway 2.0。
来源:README.md(描述、What can you do、Quickstart、Gateway 2.0 说明);GitHub 仓库元数据(language=TypeScript)中心为项目本体,内环 = 核心功能模块,外环 = 关键技术依赖;按 deep.json 中的 core_features 与 tech_stack.key_deps 自动生成
Node.js / npm(本地运行)各 LLM 提供商 API护栏与 MCP 集成适合构建多模型 LLM 应用的团队:用统一 API 屏蔽多家提供商差异,通过重试/回退/负载均衡提升可用性,用条件路由按成本/能力选模型,用护栏做输入输出治理,并管理 agentic 工作流与 MCP server。也适合需要自托管、低延迟与企业级可观测/鉴权的场景,或作为 LLMOps 基础设施的一环。具体能力与上游模型支持需结合文档与部署评估。
来源:README.md(What can you do、描述、MCP Gateway)本页未列固定版本号;README 显示正在推进 Gateway 2.0(预发布分支),将企业核心网关能力并入开源,并发布了独立的 Portkey Models(2300+ 模型定价)。npm 包 @portkey-ai/gateway 持续发布,版本见 npm 与仓库。仓库最后更新约在 2026 年 5 月,迭代活跃。
来源:README.md(Gateway 2.0、Portkey Models、npm 徽章);GitHub pushed_atPortkey AI Gateway 是一个轻量、低延迟的开源 LLM 网关:用 OpenAI 兼容的统一 API 路由到大量模型,并提供重试/回退、负载均衡、条件路由、护栏、多模态与 MCP 网关,部署灵活、企业可用,对构建多模型应用与 LLMOps 的团队很实用。需注意模型数量等指标随版本口径不同、自述性能依部署而定、部分企业能力随 Gateway 2.0 才逐步开源、引入中间层会带来运维成本。作为 AI 网关方向成熟且活跃的开源选择,定位清晰、上手快。
来源:综合 README.md 的定位、能力、部署与版本演进