gateway 是什么?

AI Gateway(Portkey-AI/gateway)是 Portkey 开源的轻量级 AI 网关,用一套快速友好的 API 路由到大量语言、视觉、音频、图像模型,并集成 50+ 护栏(guardrails)。它定位为「快、可靠、安全」的 LLM 路由层:宣称 <1ms 延迟、约 122kb 体积,提供自动重试/回退、负载均衡、条件路由、护栏与多模态、agentic 工作流及 MCP 网关等能力。README 不同处给出 250+/1600+/2300+ 等模型数量(随版本与口径不同,应以官方文档为准)。MIT 许可,约 11,839 stars,主语言 TypeScript,可 `npx` 本地运行或自托管/云托管,并在推进 Gateway 2.0。

⭐ 11,207 Stars 🍴 976 Forks TypeScript MIT 作者: Portkey-AI
来源:README.md(标题、描述、特性、Quickstart);GitHub 仓库元数据(stars=11839、language=TypeScript、license=MIT) 查看 GitHub 仓库 →

为什么值得关注

应用接入多家 LLM 时面临统一 API、容错、限流、成本与可观测等问题,AI 网关把这些收敛到一层。Portkey Gateway 以轻量、低延迟、自动重试/回退、负载均衡与护栏、并新增 MCP 网关切中 LLMOps 需求,可一行 `npx` 起步、支持自托管与云托管,企业可用性也较好,因而在构建多模型应用的团队中受欢迎。「<1ms 延迟、每天处理 10B+ token」为官方自述指标,实际取决于部署与上游。截至数据采集约 11,839 stars。

来源:README.md(描述、特性、What can you do);GitHub 仓库元数据(stars=11839、pushed_at 2026-05、topics ai-gateway/llm-gateway)

核心功能

统一 API 多模型路由

用一套友好 API 路由到大量语言/视觉/音频/图像模型,宣称两分钟接入任意 LLM。

来源:README.md(描述、What can you do)
可靠性:重试/回退/负载均衡

提供自动重试、回退、负载均衡与条件路由,降低停机风险并支撑扩展。

来源:README.md(What can you do 的 retries/fallbacks/load balancing)
护栏与多模态

集成 50+ 护栏对请求/响应做校验,并支持多模态与 agentic 工作流。

来源:README.md(描述、What can you do 的 guardrails/multi-modal/agentic)
MCP 网关与灵活部署

提供带企业鉴权与可观测的 MCP 网关;可 npx 本地、Docker、EC2、云托管部署。

来源:README.md(MCP Gateway、Quickstart、部署指南)

技术架构

Gateway 是用 TypeScript 实现的轻量路由服务,对外暴露与 OpenAI 兼容风格的统一 API,内部把请求转发到各家模型提供商,并在中间层实现可靠性与治理:自动重试、回退(fallback)、负载均衡、条件路由(按规则选模型/提供商)、护栏(请求/响应校验),以及多模态与 agentic 工作流支持;还提供 MCP 网关来统一管理 MCP server 的鉴权与可观测。部署灵活:`npx @portkey-ai/gateway` 本地起服务(默认 :8787,带控制台),也可 Docker、AWS EC2 一键、云托管。正在推进将企业核心能力并入开源的 Gateway 2.0。

来源:README.md(描述、What can you do、Quickstart、Gateway 2.0 说明);GitHub 仓库元数据(language=TypeScript)

项目知识图谱

知识图谱:项目核心节点(中心)+ 核心功能(内环六边形)+ 关键技术依赖(外环 chip) Node.js / npm(本地运行)Node.js / npm… 各 LLM 提供商 API各 LLM 提供商 A… 护栏与 MCP 集成 统一 API 多模型路由 可靠性:重试/回退/负载均衡可靠性:重试/回退/负… 护栏与多模态 MCP 网关与灵活部署 gateway 项目本体 核心功能 关键依赖

中心为项目本体,内环 = 核心功能模块,外环 = 关键技术依赖;按 deep.json 中的 core_features 与 tech_stack.key_deps 自动生成

技术栈

语言TypeScript框架AI 网关 / LLM 路由层(OpenAI 兼容 API)
Node.js / npm(本地运行)各 LLM 提供商 API护栏与 MCP 集成
npx 本地、Docker、AWS EC2 一键、Portkey 云托管;npm 包 @portkey-ai/gateway;MIT
来源:README.md(Quickstart、部署指南、徽章);GitHub 仓库元数据(language=TypeScript)

快速上手

最快方式:装好 Node.js/npm 后运行 `npx @portkey-ai/gateway`,网关在 http://localhost:8787/v1 提供 OpenAI 兼容接口,控制台在 /public/。也可用 Docker、AWS EC2 一键模板或 Portkey 云托管部署。接入时把应用的 LLM 调用指向网关 URL,并按文档配置重试/回退、负载均衡、条件路由与护栏。模型数量与各提供商支持以官方文档为准;想试企业能力可看 Gateway 2.0 预发布分支。
来源:README.md(Quickstart、部署指南、Gateway 2.0)

使用场景

适合构建多模型 LLM 应用的团队:用统一 API 屏蔽多家提供商差异,通过重试/回退/负载均衡提升可用性,用条件路由按成本/能力选模型,用护栏做输入输出治理,并管理 agentic 工作流与 MCP server。也适合需要自托管、低延迟与企业级可观测/鉴权的场景,或作为 LLMOps 基础设施的一环。具体能力与上游模型支持需结合文档与部署评估。

来源:README.md(What can you do、描述、MCP Gateway)

优势与局限

优势

  • 轻量、低延迟,OpenAI 兼容 API,接入快
  • 可靠性能力齐全:重试/回退/负载均衡/条件路由
  • 集成护栏、多模态、agentic 与 MCP 网关
  • 部署灵活(npx/Docker/EC2/云),MIT 开源、企业可用

局限

  • 模型数量等指标随版本与口径不同,需以官方文档为准
  • <1ms 延迟/10B token 为自述指标,实际依部署与上游
  • 部分企业能力此前闭源,正随 Gateway 2.0 逐步开源
  • 作为中间层会引入运维与可观测成本,需自行配置治理
来源:README.md(特性、模型数量多处不一、Gateway 2.0 说明)

最新版本

本页未列固定版本号;README 显示正在推进 Gateway 2.0(预发布分支),将企业核心网关能力并入开源,并发布了独立的 Portkey Models(2300+ 模型定价)。npm 包 @portkey-ai/gateway 持续发布,版本见 npm 与仓库。仓库最后更新约在 2026 年 5 月,迭代活跃。

来源:README.md(Gateway 2.0、Portkey Models、npm 徽章);GitHub pushed_at

总结评价

Portkey AI Gateway 是一个轻量、低延迟的开源 LLM 网关:用 OpenAI 兼容的统一 API 路由到大量模型,并提供重试/回退、负载均衡、条件路由、护栏、多模态与 MCP 网关,部署灵活、企业可用,对构建多模型应用与 LLMOps 的团队很实用。需注意模型数量等指标随版本口径不同、自述性能依部署而定、部分企业能力随 Gateway 2.0 才逐步开源、引入中间层会带来运维成本。作为 AI 网关方向成熟且活跃的开源选择,定位清晰、上手快。

来源:综合 README.md 的定位、能力、部署与版本演进
透明度声明
本页内容由 AI(大语言模型)基于以下公开材料自动生成:GitHub README、代码目录结构、依赖文件、Release 信息。 分析时间: 2026-05-24 15:52. 质量评分: 100/100.

数据来源:README、GitHub API、依赖文件