Litellm Proxy Gateway

建立或審查 LiteLLM Proxy 的基礎拓樸、model alias、config.yaml、啟動方式與 OpenAI-compatible client。當任務是架設集中式模型入口或遷移既有 OpenAI client 時使用;成本治理、觀測、安全、可靠性與 MCP 細節必須搭配對應專門技能。

doggy8088 1f212cd 2 files · 2.5 KB Updated

File contents

LiteLLM Proxy Gateway

工作流程

  1. 判斷單一應用程式是否使用 SDK 即可;只有集中權限、治理或共用入口才採 Proxy。
  2. 查核 LiteLLM 版本與 config schema。
  3. 建立最小 model_list,以穩定 model_name 對應 provider-prefixed model。
  4. 從環境變數注入 provider key、master key、database URL 與 Redis secret。
  5. 啟動 Proxy,以 OpenAI SDK 驗證 alias 與錯誤路徑。
  6. 依需求載入 litellm-routing-reliabilitylitellm-cost-governancelitellm-observabilitylitellm-guardrails-safetylitellm-mcp-skills-gateway
  7. 交付開發、測試、正式環境差異及驗證證據。

需要 config、client smoke test 或版本注意事項時,讀取 實驗與參考。

安全底線

  • 不在設定、程式碼、命令歷史或教材中放真實 secret。
  • 正式 client 不使用 master key。
  • 不把 provider key 與 Proxy virtual key 視為同一權限層。
  • 對外服務使用 TLS、受控網路與最小公開端點;本機 HTTP 範例不得直接沿用到正式環境。

驗收

  • Config 可載入且沒有真實 secret。
  • OpenAI-compatible client 能透過 alias 完成 smoke request。
  • 未授權 key 被拒絕。
  • 專門治理需求已路由到對應 skill,而非在本技能內自行簡化。

doggy8088/litellm-skills/tree/main/litellm-proxy-gateway commit 1f212cde1f

Frequently asked questions

npx skillmds@latest add doggy8088/litellm-proxy-gateway