doggy8088 LiteLLM Routing Reliability
工作流程
- 定義 user-facing model group、deployments、region、容量與故障域。
- 查核目前支援的 routing strategy、retry、timeout 與 fallback schema。
- 設定有限重試與整體 timeout，再定義有順序的 fallback。
- 多 instance 共享路由或 health 狀態時評估 Redis。
- 分別測試正常路由、429、timeout、primary 失敗與全 deployments 失敗。
- 使用 readiness 作為接流量判斷、liveliness 作為重啟判斷；不要把會實際呼叫模型的
/health當高頻免費 probe。 - 回報實際命中的 deployment、重試次數、延遲與成本影響。
需要設定範例、fallback mock 或 health endpoint 細節時，讀取 實驗與參考。
安全底線
- Fallback 不得繞過模型權限、資料區域、guardrail 或預算限制。
- 不以同一 provider、同一 region 作為唯一災難備援。
- 不設定無限重試或無上限 timeout。
- 測試不得用大量付費流量製造 429。
驗收
- Primary、retry、fallback 的順序可由 log 或 trace 證明。
mock_testing_fallbacks明確放在 request body 或 SDK 呼叫參數。- 全部 provider 失敗時回傳受控錯誤。
- Health probes 的用途、頻率、認證與成本均有定義。