File contents 故障根因分析技能 (Open RCA Diagnosis)
技能概述
本技能是一个系统化的故障根因诊断框架,通过分析微服务系统的遥测数据(指标、链路追踪、日志),遵循科学的方法论定位故障根本原因。
分析方法论
本技能基于以下核心分析方法论:
数据驱动 - 所有诊断结论必须有遥测数据支撑
层次化分析 - 从业务层到基础设施层逐层下钻
阈值判定 - 基于统计阈值识别异常
因果链追踪 - 通过调用链路追踪故障传播路径
交叉验证 - 多维度数据交叉验证根因
诊断工作流程
Phase 1: 数据预处理 (Preprocessing)
目标 :建立分析基础,了解数据全貌
步骤 1.1:数据探索
探测遥测数据目录结构
识别可用的数据类型(metric/trace/log)
确定数据时间范围和文件列表
步骤 1.2:组件识别
提取所有组件标识(cmdb_id)
按层级分类组件
映射组件与服务的对应关系
步骤 1.3:阈值计算
关键原则 :必须使用完整历史数据计算全局阈值
聚合每个组件的每个 KPI 形成时间序列
计算全局百分位阈值(P95/P90/P75/P50/P25/P10/P5)
禁止 使用过滤后的数据计算阈值
步骤 1.4:时间窗口过滤
根据问题描述确定故障时间范围
将时间戳转换为统一格式
过滤出故障时间窗口内的数据
Phase 2: 异常检测
目标 :识别偏离正常范围的异常数据点
步骤 2.1:业务指标异常
检查 rr(请求成功率)异常下降
检查 sr(服务成功率)异常下降
检查 mrt(平均响应时间)异常上升
注意 :业务指标下降可能低于阈值而非高于
步骤 2.2:资源指标异常
CPU 使用率异常(高于 P95)
内存使用率异常(高于 P95)
网络 I/O 异常
磁盘 I/O 异常
步骤 2.3:阈值调整策略
若无异常发现,逐步放宽阈值
调整顺序:P95 → P90 → P75
对于下降型指标:P95 → P15 → P5
Phase 3: 故障识别
目标 :将离散异常点聚合为连续故障事件
步骤 3.1:连续异常检测
将时间连续的异常数据点聚合成故障子序列
记录故障开始时间、结束时间、持续时间
步骤 3.2:噪声过滤
过滤孤立的尖峰(单点异常)
计算阈值突破幅度(极值偏离阈值百分比)
排除突破幅度过小的误报(< 50%)
步骤 3.3:故障组件标注
标注每个故障涉及的组件
标注每个故障涉及的资源 KPI
记录故障的严重程度
Phase 4: 根因定位
目标 :从多个故障事件中确定根本原因
步骤 4.1:故障层级判定
场景 A:不同层级存在故障
比较各层级故障的阈值突破幅度
突破幅度最大的层级为根因层级(需 >> 50%)
此规则仅用于确定层级,不用于确定具体组件
场景 B:同层级多个故障组件
使用链路追踪分析调用链
识别调用链中最下游的故障组件
最下游故障组件为根因候选
场景 C:单组件单 KPI 故障
步骤 4.2:链路追踪分析
调用链解析规则 :
构建 trace 的父子调用关系树
从根节点向叶节点遍历
识别调用链中的故障节点
根因判定规则 :
根因 = 调用链中最下游的【故障】组件
注意:最下游不一定是根因,必须先是故障组件
健康组件在故障下游不作为根因
步骤 4.3:日志分析
日志分析要点 :
不仅关注 ERROR/WARNING 日志
INFO 日志可能包含关键操作信息
寻找与故障时间点匹配的日志
提取错误详情和堆栈信息
日志关联规则 :
时间戳关联:日志时间与故障时间匹配
组件关联:日志来源与故障组件匹配
内容关联:日志内容与故障类型相关
关键规则
必须遵守
规则
说明
全局阈值计算
使用完整历史数据计算阈值,禁止使用过滤后数据
时区统一
所有时间处理使用 UTC+8 时区
指标优先
首先使用指标缩小搜索范围,再分析 trace 和 log
链路定向
同层级多故障使用链路追踪定位最下游故障组件
交叉验证
使用 trace 和 log 交叉验证根因推断
数据溯源
所有结论必须有数据支撑,禁止臆测
禁止事项
禁止项
原因
可视化绘图
环境不支持 matplotlib/seaborn,只能文本输出
本地存储
禁止将数据写入本地文件系统
假设数据
不假设任何未知变量或数据存在
误判健康
不将健康组件错误识别为根因
忽略信息日志
日志分析时不仅看 ERROR,INFO 也可能有价值
后置阈值
禁止在过滤时间段后计算阈值
数据分析规范
阈值计算规范
# 正确做法:使用完整数据计算全局阈值
df_full = pd.read_csv('metric_container.csv')
threshold = df_full['value'].quantile(0.95)
# 错误做法:使用过滤后数据计算阈值
df_filtered = df_full[df_full['timestamp'] >= start_time]
threshold = df_filtered['value'].quantile(0.95) # 错误!
时间处理规范
import pytz
from datetime import datetime
# 统一使用 UTC+8 时区
tz = pytz.timezone('Asia/Shanghai')
# 秒级时间戳转换
dt = datetime.fromtimestamp(timestamp_seconds, tz=tz)
# 毫秒级时间戳转换
dt = datetime.fromtimestamp(timestamp_ms / 1000, tz=tz)
组件标识处理
不同场景的组件标识格式不同,需根据场景规格文档解析:
Bank 场景:Tomcat01, Mysql01
Telecom 场景:os_001, docker_001, db_001
Market 场景:node-1.adservice-0, adservice-grpc
输出规范
诊断报告结构
根因定位信息
分析思路流程图
证据链
图表输出格式
支持以下图表类型(使用 vis-chart 标签):
折线图:时序数据展示
柱形图:分类数据对比
饼图:比例数据展示
流程图:诊断步骤展示
场景规格引用
本技能通过 scene 参数动态加载对应场景的规格文档:
specs/
├── bank_spec.md # 银行场景规格
├── telecom_spec.md # 电信场景规格
└── market_spec.md # 电商场景规格
场景规格文档包含:
数据目录结构
数据模式定义(字段说明、示例数据)
候选根因组件列表
候选根因原因列表
时间戳单位约定
cmdb_id 格式约定
系统特点说明
使用示例
输入参数:
scene: bank
question: "2021-03-05 02:00 到 03:00 期间,系统成功率下降到 50% 以下,请分析根因"
诊断流程:
1. 加载 bank_spec.md 获取场景规格
2. 探索数据目录,识别可用数据
3. 计算各 KPI 全局阈值
4. 过滤故障时间窗口数据
5. 检测异常组件和 KPI
6. 分析链路追踪定位根因
7. 交叉验证日志信息
8. 生成诊断报告
版本历史
版本
日期
更新内容
1.0
2024-01
初始版本,支持标准化故障诊断流程
1 --- 2 name: open-rca-diagnosis-2 3 description: AI驱动的微服务故障根因分析技能,通过系统化的遥测数据分析流程,精准定位故障根本原因 4 --- 5 6 # 故障根因分析技能 (Open RCA Diagnosis) 7 8 ## 技能概述 9 10 本技能是一个系统化的故障根因诊断框架,通过分析微服务系统的遥测数据(指标、链路追踪、日志),遵循科学的方法论定位故障根本原因。 11 12 ## 分析方法论 13 14 本技能基于以下核心分析方法论: 15 16 1. **数据驱动** - 所有诊断结论必须有遥测数据支撑 17 2. **层次化分析** - 从业务层到基础设施层逐层下钻 18 3. **阈值判定** - 基于统计阈值识别异常 19 4. **因果链追踪** - 通过调用链路追踪故障传播路径 20 5. **交叉验证** - 多维度数据交叉验证根因 21 22 ## 诊断工作流程 23 24 ### Phase 1: 数据预处理 (Preprocessing) 25 26 **目标**:建立分析基础,了解数据全貌 27 28 #### 步骤 1.1:数据探索 29 - 探测遥测数据目录结构 30 - 识别可用的数据类型(metric/trace/log) 31 - 确定数据时间范围和文件列表 32 33 #### 步骤 1.2:组件识别 34 - 提取所有组件标识(cmdb_id) 35 - 按层级分类组件 36 - 映射组件与服务的对应关系 37 38 #### 步骤 1.3:阈值计算 39 - **关键原则**:必须使用完整历史数据计算全局阈值 40 - 聚合每个组件的每个 KPI 形成时间序列 41 - 计算全局百分位阈值(P95/P90/P75/P50/P25/P10/P5) 42 - **禁止**使用过滤后的数据计算阈值 43 44 #### 步骤 1.4:时间窗口过滤 45 - 根据问题描述确定故障时间范围 46 - 将时间戳转换为统一格式 47 - 过滤出故障时间窗口内的数据 48 49 ### Phase 2: 异常检测 50 51 **目标**:识别偏离正常范围的异常数据点 52 53 #### 步骤 2.1:业务指标异常 54 - 检查 `rr`(请求成功率)异常下降 55 - 检查 `sr`(服务成功率)异常下降 56 - 检查 `mrt`(平均响应时间)异常上升 57 - **注意**:业务指标下降可能低于阈值而非高于 58 59 #### 步骤 2.2:资源指标异常 60 - CPU 使用率异常(高于 P95) 61 - 内存使用率异常(高于 P95) 62 - 网络 I/O 异常 63 - 磁盘 I/O 异常 64 65 #### 步骤 2.3:阈值调整策略 66 - 若无异常发现,逐步放宽阈值 67 - 调整顺序:P95 → P90 → P75 68 - 对于下降型指标:P95 → P15 → P5 69 70 ### Phase 3: 故障识别 71 72 **目标**:将离散异常点聚合为连续故障事件 73 74 #### 步骤 3.1:连续异常检测 75 - 将时间连续的异常数据点聚合成故障子序列 76 - 记录故障开始时间、结束时间、持续时间 77 78 #### 步骤 3.2:噪声过滤 79 - 过滤孤立的尖峰(单点异常) 80 - 计算阈值突破幅度(极值偏离阈值百分比) 81 - 排除突破幅度过小的误报(< 50%) 82 83 #### 步骤 3.3:故障组件标注 84 - 标注每个故障涉及的组件 85 - 标注每个故障涉及的资源 KPI 86 - 记录故障的严重程度 87 88 ### Phase 4: 根因定位 89 90 **目标**:从多个故障事件中确定根本原因 91 92 #### 步骤 4.1:故障层级判定 93 94 **场景 A:不同层级存在故障** 95 - 比较各层级故障的阈值突破幅度 96 - 突破幅度最大的层级为根因层级(需 >> 50%) 97 - 此规则仅用于确定层级,不用于确定具体组件 98 99 **场景 B:同层级多个故障组件** 100 - 使用链路追踪分析调用链 101 - 识别调用链中最下游的故障组件 102 - 最下游故障组件为根因候选 103 104 **场景 C:单组件单 KPI 故障** 105 - 该故障即为根因 106 - 结合日志确认具体原因 107 108 #### 步骤 4.2:链路追踪分析 109 110 **调用链解析规则**: 111 - 构建 trace 的父子调用关系树 112 - 从根节点向叶节点遍历 113 - 识别调用链中的故障节点 114 115 **根因判定规则**: 116 - 根因 = 调用链中最下游的【故障】组件 117 - 注意:最下游不一定是根因,必须先是故障组件 118 - 健康组件在故障下游不作为根因 119 120 #### 步骤 4.3:日志分析 121 122 **日志分析要点**: 123 - 不仅关注 ERROR/WARNING 日志 124 - INFO 日志可能包含关键操作信息 125 - 寻找与故障时间点匹配的日志 126 - 提取错误详情和堆栈信息 127 128 **日志关联规则**: 129 - 时间戳关联:日志时间与故障时间匹配 130 - 组件关联:日志来源与故障组件匹配 131 - 内容关联:日志内容与故障类型相关 132 133 ## 关键规则 134 135 ### 必须遵守 136 137 | 规则 | 说明 | 138 |------|------| 139 | 全局阈值计算 | 使用完整历史数据计算阈值,禁止使用过滤后数据 | 140 | 时区统一 | 所有时间处理使用 UTC+8 时区 | 141 | 指标优先 | 首先使用指标缩小搜索范围,再分析 trace 和 log | 142 | 链路定向 | 同层级多故障使用链路追踪定位最下游故障组件 | 143 | 交叉验证 | 使用 trace 和 log 交叉验证根因推断 | 144 | 数据溯源 | 所有结论必须有数据支撑,禁止臆测 | 145 146 ### 禁止事项 147 148 | 禁止项 | 原因 | 149 |--------|------| 150 | 可视化绘图 | 环境不支持 matplotlib/seaborn,只能文本输出 | 151 | 本地存储 | 禁止将数据写入本地文件系统 | 152 | 假设数据 | 不假设任何未知变量或数据存在 | 153 | 误判健康 | 不将健康组件错误识别为根因 | 154 | 忽略信息日志 | 日志分析时不仅看 ERROR,INFO 也可能有价值 | 155 | 后置阈值 | 禁止在过滤时间段后计算阈值 | 156 157 ## 数据分析规范 158 159 ### 阈值计算规范 160 161 ```python 162 # 正确做法:使用完整数据计算全局阈值 163 df_full = pd.read_csv('metric_container.csv') 164 threshold = df_full['value'].quantile(0.95) 165 166 # 错误做法:使用过滤后数据计算阈值 167 df_filtered = df_full[df_full['timestamp'] >= start_time] 168 threshold = df_filtered['value'].quantile(0.95) # 错误! 169 ``` 170 171 ### 时间处理规范 172 173 ```python 174 import pytz 175 from datetime import datetime 176 177 # 统一使用 UTC+8 时区 178 tz = pytz.timezone('Asia/Shanghai') 179 180 # 秒级时间戳转换 181 dt = datetime.fromtimestamp(timestamp_seconds, tz=tz) 182 183 # 毫秒级时间戳转换 184 dt = datetime.fromtimestamp(timestamp_ms / 1000, tz=tz) 185 ``` 186 187 ### 组件标识处理 188 189 不同场景的组件标识格式不同,需根据场景规格文档解析: 190 - Bank 场景:`Tomcat01`, `Mysql01` 191 - Telecom 场景:`os_001`, `docker_001`, `db_001` 192 - Market 场景:`node-1.adservice-0`, `adservice-grpc` 193 194 ## 输出规范 195 196 ### 诊断报告结构 197 198 1. **根因定位信息** 199 - 故障发生时间 200 - 根因组件 201 - 根本原因 202 203 2. **分析思路流程图** 204 - 使用 flow-diagram 展示推理过程 205 206 3. **证据链** 207 - 指标异常证据 208 - 链路追踪证据 209 - 日志分析证据 210 211 ### 图表输出格式 212 213 支持以下图表类型(使用 vis-chart 标签): 214 - 折线图:时序数据展示 215 - 柱形图:分类数据对比 216 - 饼图:比例数据展示 217 - 流程图:诊断步骤展示 218 219 ## 场景规格引用 220 221 本技能通过 `scene` 参数动态加载对应场景的规格文档: 222 223 ``` 224 specs/ 225 ├── bank_spec.md # 银行场景规格 226 ├── telecom_spec.md # 电信场景规格 227 └── market_spec.md # 电商场景规格 228 ``` 229 230 场景规格文档包含: 231 - 数据目录结构 232 - 数据模式定义(字段说明、示例数据) 233 - 候选根因组件列表 234 - 候选根因原因列表 235 - 时间戳单位约定 236 - cmdb_id 格式约定 237 - 系统特点说明 238 239 ## 使用示例 240 241 ``` 242 输入参数: 243 scene: bank 244 question: "2021-03-05 02:00 到 03:00 期间,系统成功率下降到 50% 以下,请分析根因" 245 246 诊断流程: 247 1. 加载 bank_spec.md 获取场景规格 248 2. 探索数据目录,识别可用数据 249 3. 计算各 KPI 全局阈值 250 4. 过滤故障时间窗口数据 251 5. 检测异常组件和 KPI 252 6. 分析链路追踪定位根因 253 7. 交叉验证日志信息 254 8. 生成诊断报告 255 ``` 256 257 ## 版本历史 258 259 | 版本 | 日期 | 更新内容 | 260 |------|------|----------| 261 | 1.0 | 2024-01 | 初始版本,支持标准化故障诊断流程 |
derisk-ai/openderisk commit 4a577c427e
Frequently asked questions How do I install the Open Rca Diagnosis skill? Run npx get-skill add derisk-ai/open-rca-diagnosis-2 in your terminal (requires Node.js), paste this page's agent-chat prompt into Claude, Cursor, or any MCP-connected agent, or download the SKILL.md file and copy it into your agent's skills directory.
What does the Open Rca Diagnosis skill do? AI驱动的微服务故障根因分析技能,通过系统化的遥测数据分析流程,精准定位故障根本原因 It is listed under AI & ML on SkillMD.
Is Open Rca Diagnosis safe to use? This skill has not completed SkillMD's automated safety review yet. Independent scanners report: SkillSpector: PASS, Skill Scanner: PASS. SkillMD never runs a skill's scripts for you; review the SKILL.md before installing.
Which AI agents work with Open Rca Diagnosis? This skill is tagged as working with Claude Code, Claude.ai, OpenAI Codex. SKILL.md is an open format, so most agents that read a skills directory can load it too.
Is Open Rca Diagnosis free to use? Yes. Installing skills from SkillMD is free, and the skill stays under its author's original license.
Who published Open Rca Diagnosis? derisk-ai (@derisk-ai) published this skill. Their other Agent Skills are listed on their SkillMD profile.