Sky-Cube 测试报告分析Skill
适用场景
自动化测试执行结束后,对报告中的失败项逐条归因,区分产品缺陷/脚本缺陷/环境问题/flaky,并度量测试稳定性。
执行步骤
- 收集材料:测试结果文件、失败日志、截图、执行环境信息、执行次数。
- 失败分类:
- 产品缺陷:断言失败且产品行为与需求不符。
- 脚本缺陷:定位器失效、断言写错、测试数据准备错误。
- 环境问题:服务未启动、依赖不可用、数据被污染。
- flaky:同一用例多次执行结果不一致。
- 归因流程:读失败日志 → 定位第一失败点 → 必要时复现 → 判定类别,记录证据。
- 稳定性度量:
- 失败率 = 失败用例数 / 执行用例总数。
- flaky 率 = 结果波动用例数 / 执行用例总数。
- 与历次执行对比趋势,flaky 率持续上升必须告警。
- 输出分析结论:各类失败数量、典型问题、处置建议与责任归属。
规范要点
- 结果如实呈现:分析中的通过/失败/未执行数字必须与原始报告一致,禁止粉饰或私自调整统计口径。
- 未执行用例单独标注,不得混入通过率,不得静默忽略。
- flaky 判定需要多次执行依据(建议 ≥3 次对比,口径在执行方案中约定),仅凭一次失败不得定 flaky。
- 每个失败项必须留证据链:日志片段 + 截图 + 判定依据。
- 区分失败类别后分流处置:产品缺陷转缺陷管理,脚本缺陷转自动化维护,环境问题转环境责任方。
输出模板
## 测试报告分析
| 失败用例 | 失败类别 | 证据 | 判定依据 | 处置建议 |
## 稳定性统计(失败率/flaky率/趋势对比)
## 未执行用例清单(附原因)
## 分类汇总与责任分流
自检清单
- 数字与原始报告一致
- 每个失败项有类别、证据与依据
- flaky 判定有多次执行对比
- 未执行用例单独列出
- 有趋势对比与处置分流