Routerbase Model Routing Cn

当用户需要选择 RouterBase 模型、设计 fallback 链路,或编写兼顾成本与延迟的路由策略时使用。

yangsonhung Updated

File contents

RouterBase 模型路由

Overview

使用 routerbase 在统一的 OpenAI 兼容集成表面下规划模型选择。本技能将工作负载需求转化为模型候选清单、fallback 链路、成本与延迟策略,以及上线前验证清单。

何时使用

当用户提出以下需求时使用本技能:

  • 为聊天、代码、推理、视觉或多模态工作负载选择 RouterBase 模型
  • 为供应商故障或质量下降设计 fallback 链路
  • 在成本、延迟、上下文长度、输出质量和可用性之间做取舍
  • 为生产应用或 Agent 工作流编写模型路由规则
  • 制定模型行为上线前验证计划

不要使用

以下场景不应使用本技能:

  • 未查验当前来源数据就断言精确价格、可用性或模型表现
  • 不说明假设和 fallback 行为,只推荐单一模型
  • 在应用负责人或生产运维人员不知情的情况下隐藏路由变更

使用说明

  1. 明确工作负载类型、质量阈值、延迟预算、上下文大小、预期流量和失败容忍度。
  2. 按角色整理候选模型:主模型、经济型 fallback、高质量 fallback 和专项 fallback。
  3. 清楚标注路由假设,并把需要查验当前目录或价格的数据单独标记。
  4. 推荐小步上线流程:测试提示词、golden case、日志、重试策略、限流处理和回滚条件。
  5. 示例尽量保持 OpenAI 兼容,让应用集成保持可迁移性。

yangsonhung/awesome-agent-skills/tree/main/skills/zh-cn/routerbase-model-routing-cn commit 3ce65c4968

Frequently asked questions

npx skillmds@latest add yangsonhung/routerbase-model-routing-cn