doggy8088 LiteLLM Observability
工作流程
- 定義診斷問題、必要欄位、資料分類、保留期限與存取者。
- 選擇 SDK callback、Proxy logging、OpenTelemetry 或外部平台。
- 查核 LiteLLM 版本、callback schema、OpenTelemetry v1/v2 與額外套件。
- 預設不傳完整 prompt、response、secret 或敏感 metadata 到第三方。
- 建立 request ID 關聯 client、Proxy、provider、guardrail、MCP 與 DB 事件。
- 測試成功、provider error、timeout、budget exceeded、fallback 與 guardrail blocked。
- 交付查詢方式、重現步驟與實際 trace 證據。
需要安全設定、OpenTelemetry 注意事項與實驗規格時，讀取 實驗與參考。
安全底線
- 第三方觀測預設關閉 message logging。
- 不把 API key、Authorization header、資料庫 URL 或完整敏感內容寫入 log。
- 啟用內容記錄前必須完成資料分類、遮罩、保留期限及第三方資料處理審查。
- Failure callback 也必須套用相同的遮罩政策。
驗收
- 每個請求可由 request ID 關聯必要事件。
- 成功與至少四種失敗類型可查。
- Trace 或 log 不包含測試 secret 與未遮罩敏感資料。
- 查詢結果能解釋一次 fallback 或 guardrail 事件。