上下文优化
去除重复片段、裁剪无关检索结果，并控制长对话的历史 token 预算。
ir.ngjoo.com · ONLINE
IntelligentRouting
透明代理 LLM API 请求，通过上下文去重、RAG 裁剪和历史预算控制减少无效 token，并在控制台持续观察用量、成本与策略效果。
核心能力
核心成本观测
按模型和请求记录 token、费用与趋势，定位真正消耗预算的调用链路。
安全策略
支持敏感信息脱敏、策略版本管理和质量检查，再决定是否上线新规则。
适合谁
适合已经使用 OpenAI 风格接口，希望观察 token、费用和上下文冗余，再逐步启用路由策略的团队。
先看边界
优化效果取决于请求结构、检索内容和质量阈值；页面不再沿用未经当前基准验证的固定节省比例。
项目怎样工作
说明网关放在调用链哪里
IntelligentRouting 作为 OpenAI 风格接口前的代理层接收请求，对重复上下文、无关检索片段和过长历史进行处理，再把请求交给模型。控制台记录模型、token、费用与策略效果，使优化前后的请求能够在同一条调用链上比较。
先建立基线再改策略
团队应先保留未优化请求的 token、费用和质量样本，再从一种问题开始小范围开启策略。答案遗漏、引用错位和工具参数变化与 token 下降同样重要。没有代表性样本和人工复核时，固定的节省比例不能说明生产收益。
浏览器与机器接口分开
2026-09-23 检查控制台入口会进入统一登录；部署记录同时说明 /v1/* 机器接口继续使用 API Key，避免 API 客户端被交互式登录重定向。请求日志可能包含敏感信息，启用前还要检查脱敏、权限、保留周期和策略回滚。
上手前的验收点
核对先冻结一组未优化请求
记录同一批请求使用的模型、输入 token、输出、工具参数、引用和费用，形成可复跑基线。没有这一组样本，token 下降无法区分来自有效压缩、遗漏上下文还是模型输出变化。
一次只启用一种策略
先处理重复历史或明显无关的检索片段，在小流量中对照答案完整性、引用位置和工具调用。质量样本通过后再扩大，策略版本与回滚点要和指标记录放在一起。
分别核对控制台和 API
浏览器控制台通过统一登录保护，/v1/* 机器接口继续使用 API Key。验收时要分别检查两条入口，避免把交互式重定向带入客户端；请求日志还需核对脱敏、权限和保留周期。
完成验收后保留什么
记录最终报告应同时给出 token、费用、答案质量、引用和工具调用变化，并附策略版本。只有节省数字而没有失败样本与回滚结果，无法支持把策略扩大到全部生产请求。
可以怎样使用
- 先记录现有请求的 token、模型和费用，建立未优化的真实基线。
- 从重复上下文或无关检索片段开始，小范围开启策略并对照输出质量。
- 确认指标和人工样本没有明显退化后，再扩大到更多调用链路。
怎样复核结果
- 节省 token 不是唯一目标；答案遗漏、引用错位和工具参数变化同样要检查。
- 请求日志可能包含敏感信息，应先验证脱敏、权限和保留周期。
- 策略需要版本和回滚路径，避免一次配置变化同时影响所有生产请求。
当前状态与核对依据
2026-09-232026-09-23 检查控制台入口，浏览器访问会转入统一登录；部署记录说明 /v1/* 机器接口继续使用 API Key。
当前依据均为第一方材料：部署记录、产品文档和核对时的入口状态。没有可用的独立评测；入口可访问只证明当时能够到达，不证明性能、准确率、节省比例或长期可用性。