Performance Tracking

Performance Tracking

wanghaisheng c6b4f3c 2.2 KB Updated

File contents

Performance Tracking

概述

性能追踪技能专注于持续追踪演员的历史表现,识别趋势和异常,为适配度更新和调度优化提供数据支持。

核心概念

性能追踪

持续记录和分析演员在特定角色上的历史表现数据,包括质量、成本、延迟、成功率等指标。

追踪维度

  • 时间序列:按时间记录每次任务执行
  • 趋势分析:识别性能变化趋势
  • 异常检测:识别异常表现
  • 对比分析:对比不同演员的表现

数据收集

收集内容

  • 任务ID和类型
  • 执行时间戳
  • 输出质量评分
  • Token消耗和成本
  • 响应时间
  • 成功/失败状态
  • 用户反馈

存储结构

performance_record:
  actor: "claude"
  role: "client_unity"
  task_id: "task_123"
  timestamp: "2024-01-15T10:30:00Z"
  quality_score: 9.2
  cost: 0.05
  latency: 2.5
  success: true
  user_feedback: 5

趋势分析

移动平均

计算指标的移动平均,平滑短期波动。

趋势识别

  • 上升趋势:性能持续改善
  • 下降趋势:性能持续下降
  • 稳定趋势:性能保持稳定

可视化

生成时间序列图表,直观展示性能趋势。

异常检测

异常类型

  • 质量异常:质量评分突然下降
  • 成本异常:成本突然上升
  • 延迟异常:延迟突然增加
  • 失败异常:失败率突然上升

检测方法

  • 统计方法:基于历史数据的统计分布
  • 阈值方法:设定阈值,超出即为异常
  • 机器学习:使用异常检测算法

对比分析

演员对比

对比不同演员在同一角色上的表现。

角色对比

对比同一演员在不同角色上的表现。

时间对比

对比同一演员在不同时间段的表现。

最佳实践

  • 数据应该实时收集,及时更新
  • 趋势分析应该考虑时间窗口
  • 异常检测应该有合理的阈值
  • 对比分析应该控制变量

常见错误

  • 数据收集不完整,影响分析
  • 趋势分析时间窗口不合理
  • 异常检测阈值设置不当
  • 对比分析变量未控制

wanghaisheng/openaiworkhorse-design-team/tree/main/.claude/skills/designer-role/skills/performance-tracking commit c6b4f3cec4

Frequently asked questions

npx skillmds@latest add wanghaisheng/performance-tracking