# Ml Diagnosis

> 模型效果不好（或"好得可疑"）时的系统诊断流程。当用户说"模型精度低/loss 不降/泛化差/过拟合/ 欠拟合怎么办"、报告训练集表现与验证集脱节、或纠结该加数据还是加模型容量时激活。 核心动作: 先用偏差-方差分解(bias-variance decomposition)把问题归因到欠拟合(underfitting)/ 过拟合(overfitting)/数据问题三类，再对症下药；同时把"训练精度 100%"当红旗而非捷报 （完美可分可能恰是过拟合假象）。覆盖: 学习曲线判读、正则/剪枝强度取舍、调参后全量重训纪律。 不适用于: 还没选模型的选型阶段（用 ml-task-matching）、性能度量本身选错了的情况 （先确认尺子再诊断数值）、多算法科学比较（用算法比较检验流程）。

- Skill: `fieldlu/ml-diagnosis` (Agent Skill, multi-file: 3 files)
- Install (CLI): `npx skillmds@latest add fieldlu/ml-diagnosis`
- Raw SKILL.md: https://api.skillmd.com/api/skills/fieldlu/ml-diagnosis/raw
- Safety review: pending
- Works with: Claude Code, Claude.ai, OpenAI Codex
- Category: Productivity
- Author: fieldlu (https://skillmd.com/u/fieldlu)
- Updated: 2026-09-17
- Page: https://skillmd.com/skills/fieldlu/ml-diagnosis

---


# ML 效果诊断 — 先分清病种再开药，"太好了"也是病

## R — 原文 (Reading)

> "偏差刻画了学习算法本身的拟合能力……方差刻画了数据扰动所造成的影响……噪声表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界。"
>
> — 周志华, 《机器学习》第2章 2.5节 "偏差与方差"

> "只要相信 P≠NP，过拟合就不可避免。……在现实任务中往往有多种学习算法可供选择……很难断定貌似线性可分的结果不是过拟合所造成的。"
>
> — 周志华, 《机器学习》第2章 2.1节、第6章 6.4节

---

## I — 方法论骨架 (Interpretation)

泛化误差可以解剖成三块：**偏差²**（算法拟合能力不够——学不会）、**方差**（对数据扰动太敏感——背题）、**噪声²**（问题固有难度——天花板）。任何"效果不好"都落在这三项的主导之下，而三者的处方完全不同甚至相反：

- **偏差主导**（训练误差也高、训练/验证曲线贴得很近）：加数据没用，要增强学习能力——换更强模型、加特征、降正则。
- **方差主导**（训练好验证差、间隙大）：加数据有效，另配正则化、剪枝、早停、集成。
- **逼近噪声下界**：停止投入，继续压指标只会开始拟合噪声。

关键纪律有三条。其一，**先诊断主导项再动手**——训练程度这个旋钮的两端都是坑（欠拟合与过拟合），不诊断就调参等于掷硬币。其二，**过拟合不可根除只能缓解**（若能根除等于解决了 NP 难问题），所以目标永远是"管理风险"而非"消灭它"；每个新模型都该问它靠什么机制缓解过拟合。其三，**训练集满分是红旗不是捷报**——高维下"完美分开"常常意味着容量大到记住了噪声。

---

## A1 — 书中的应用 (Past Application)

### 案例 1: 西瓜数据集 2.0 预剪枝 vs 后剪枝对比演算 (c15)
- **问题**: 决策树不剪枝会过拟合，但剪枝怎么剪才对？作者需要展示两种剪枝策略的真实代价差异。
- **方法论的使用**: 在同一数据上完整跑两条路并逐节点对照验证集精度：预剪枝在每次划分前验证、无收益即禁止展开；后剪枝先生长完再自底向上回溯考察替换/剪除。
- **结论**: 两者可达相近的验证精度，但路径不同——预剪枝的贪心（当前划分无收益≠后续划分无收益）带来欠拟合风险，分支被过早锁死；后剪枝保留更多分支、泛化通常更好，但训练时间开销大得多。
- **结果**: 演算给出具体数字对照（预剪枝验证精度仅 42.9%，后剪枝达 71.4%），确立了"快而险 vs 准而贵"的取舍框架和"精度持平时偏向剪枝（更简）"的决策规则。

### 案例 2: 编号属性的信息增益陷阱 (c14)
- **问题**: 决策树按信息增益选划分属性时，把样本"编号"列也放进候选会发生什么？
- **方法论的使用**: 作者实际计算：编号列每个取值恰好对应一个样本，其信息增益高达 0.998（远超 IV(色泽)=1.580 对应的有效属性水平），用它划分的树训练误差为 0 但毫无泛化能力。
- **结论**: 信息增益准则自带"偏好取值数目多的属性"的价值取向；换成增益率又偏向取值少的属性——每个准则都有偏好，C4.5 用的是两级启发式（先取增益高于平均、再从中挑增益率最高）。
- **结果**: 这成为"训练精度 100% 却不可用"的最干净演示，也是审查特征表里混入 ID 类高基数列的诊断模板。

### 案例 3: 硬间隔的隐患与软间隔动机
- **问题**: 线性可分数据硬间隔最大化看起来是最优解，为什么现实中没人这么用？
- **方法论的使用**: 作者指出"很难断定貌似线性可分的结果不是过拟合所造成"——哪怕只混入一个异常点，硬间隔解也会被剧烈改变；于是引入松弛变量与惩罚系数 C，允许少数样本越界换取整体鲁棒。
- **结论**: 完美可分本身可能就是过拟合症状；正确姿势是用软间隔，把"全部做对"改成"总体代价最小"。
- **结果**: 软间隔成为 SVM 的标准形态，"对完美拟合保持怀疑"上升为贯穿全书的总纲原则（经验误差不能作为模型选择标准）。

---

## A2 — 触发场景 (Future Trigger) ★

### 用户会在什么情境下需要这个 skill?

1. 用户报告"模型效果不好"但说不清是哪一种不好：训练精度也低？还是训练高验证低？需要有人带他把症状归类。
2. 用户在学习曲线上卡住（如验证精度 85% 封顶），纠结"再采一倍数据值不值 / 该换更大模型还是加特征"。
3. 用户兴奋地报告"训练精度/训练集 AUC 达到 100%"或"加核后完美分开了"，没有意识到这可能是危险信号。
4. 用户在调正则强度/树深度/early-stopping 时机时来回摇摆，缺乏取舍依据；或 GBDT 该不该激进早停拿不准。
5. GridSearchCV 跑完直接拿折上训练的 best_estimator_ 上线，不知道还要全量重训。

### 语言信号 (用户的话里出现这些就应激活)

- "**过拟合**了怎么办" / "**欠拟合**" / "**泛化**很差" / "验证集掉点" / "train-val gap" / "overfitting"
- "训练精度 **100%**！" / "训练集上**完美**分类" / "loss 降到 0 了" / "perfectly separable"
- "该**加数据**还是**加模型**？" / "要不要换更大的模型" / "more data or bigger model"
- "正则系数/**C 值**/**树深**怎么定" / "early stopping 早停到几轮" / "pruning 剪枝"
- "模型效果不好/精度上不去/loss 不降，帮我看看" / "my model doesn't generalize"

### 与相邻 skill 的区分

- 与 `ml-task-matching` 的区别: 那是训练前的选型（还没定模型）；本 skill 是模型已训完、面对结果时的诊断与处置。用户问"用哪个"→ 选型；问"为什么不行/满分正常吗"→ 本 skill。二者构成工作流先后两站（定稿口径：contrasts-with）。
- 与 `ml-evaluation-design` 的区别（定稿口径，双向 contrasts）: 那是实验开始前的设计（切数据、定尺子、定比较协议），本 skill 是实验结束后的归因（偏差/方差/噪声）。且互为闸门——本 skill 步骤 3 发现"验证集本身可疑"或"度量失配"时移交 evaluation-design 先修评估；evaluation-design 交付后拿到坏结果再回到本 skill。
- 与 `ml-ensemble-design` 的区别（定稿口径：depends-on 单向）: 本 skill 产出主导项判定（偏差/方差）；方差主导的处置方案（Bagging 类集成降方差）由 ensemble-design 接手展开——诊断在前开药方，集成在后抓药。
- 与 `ml-imbalanced-learning` 的区别: 若症状实为不平衡导致的度量失守（99.8% 精度红旗），先经 imbalanced-learning 换尺子确认真实差距，再回到本 skill 归因。

---

## E — 可执行步骤 (Execution)

当 skill 被激活后, agent 应按以下步骤执行:

1. **先查"太好了"警报**
   - 若用户报告训练精度≈100%/训练 loss≈0/训练集完美可分：立即标记为红旗候选，检查训练-验证差距与数据中是否混入 ID 类/泄露特征（时间穿越、目标泄漏）。
   - 完成标准: 给出"真优秀 vs 记住了噪声/泄了答案"的明确判定及证据（验证集表现、特征审查结论）。

2. **采集三组症状数据**
   - 向用户索取（或指导生成）：训练误差、验证误差、二者的差（间隙）；若可能再加一条随训练量/数据量变化的学习曲线。
   - 完成标准: 至少拿到 {训练误差, 验证误差} 二元组；只有单一数字（如只有测试精度 85%）时先补测，不得跳步开药。

3. **归因到主导项**
   - 判定规则: 训练误差高且验证误差高 → 偏差主导（欠拟合）；训练误差低但验证明显更高 → 方差主导（过拟合）；二者都已很低且贴近 → 已近噪声下界，建议停止投入。
   - 完成标准: 明确说出"本次问题是 X 主导"，并能引用步骤 2 的数字支撑。

   **判停条件**: 若步骤 3 发现验证集本身可疑（太小/与训练集同源划分错误/单次划分不稳定）→ 跳到步骤 6 先修评估，再回来重新诊断。

   **判停条件**: 若症状实为"度量失配"（不平衡数据的 accuracy 虚高、代价不对称场景的错误率误导）→ 移交性能度量选型流程换尺子，本 skill 暂停。

4. **对症处置**
   - 偏差主导 → 增强学习能力：换更强模型族、构造/增加特征、降低正则强度、延长训练；检查是否存在预剪枝式贪心锁死（当前无收益≠后续无收益）。
   - 方差主导 → 抑制方差：增数据、正则化、剪枝/早停、Bagging 类集成、降维；若是高基数 ID 特征引发 → 剔除或改目标编码。
   - 近噪声下界 → 明确告知继续优化的期望收益趋零，转向降低标注噪声或重新定义任务。
   - 完成标准: 处置清单与主导项一一对应，无"同时上所有手段"的大杂烩；每项注明预期作用在哪一项（bias/var/noise）。

5. **调参与交付纪律**
   - 正则/C/树深等超参按粗扫宽范围 → 锁区域 → 细化的顺序调；全程测试集封存，只在最终评估时启用一次；选定配置后必须用全量数据重训再交付（GridSearchCV 的 best_estimator_ 只见过折内数据）。
   - 完成标准: 交付说明中含"最终模型由全量 D 重训"的声明；测试集未被反复使用。

6. **复核与监测**
   - 处置后再走一遍步骤 2-3 确认主导项已转移或消除；提醒用户过拟合只能缓解不能根除，上线后需持续监测训练/线上分布漂移。
   - 完成标准: 输出前后对比（间隙缩小了多少/哪一项下降）+ 一条持续监测建议。

---

## B — 边界 (Boundary) ★

### 不要在以下情况使用此 skill

- 模型还没选定——这是选型问题，先走 `ml-task-matching` 把候选池按任务画像收窄，否则诊断出的"偏差主导"可能只是"天生选错偏好"。
- 手里只有一个汇总数字且无法补实验（如只有别人论文里的一个 accuracy）：没有训练/验证拆分就没有诊断材料，强行套用会变成瞎猜。
- 度量本身没定对（不平衡数据还在看 accuracy）：先修尺子再谈诊断，否则归因全错。

### 作者在书中警告的失败模式

- **训练精度 100% = 多数情况下都不好（x12）**: 过拟合不可根除（P≠NP 论证），追求"彻底解决过拟合再上线"是把目标设错了；正确姿态是控制 + 监测，并追问每个方法靠什么机制缓解过拟合。
- **窘境两端都是坑（x13）**: 训练程度的两端分别通向欠拟合与过拟合，"先诊断主导项再开药方"是操作纪律；噪声是不可逾越的下界，撞线后继续压指标是在拟合噪声。
- **编号属性翻车（x19/c14）**: 信息增益 0.998 的演示说明"准则自带偏好"；特征表里的 user_id/订单号类高基数列会让树模型训练误差归零而泛化为零。
- **纠缠微观准则选项而放过宏观杠杆（p23）**: 划分准则对泛化的影响很有限（信息增益 vs 基尼仅约 2% 的情形不同），而噪声数据上剪枝可将泛化性能提高约 25%——为"基尼还是信息增益"吵一周不值，同样的精力投向剪枝/正则强度收益高一个数量级。
- **预剪枝贪心欠拟合（x21/c15）**: 当前划分无收益≠后续划分无收益；激进 early-stopping 可能踩中同一盲区（GBDT 第 N 轮无提升不代表第 N+k 轮无提升），稳妥做法是先生长足再回溯修剪。
- **核选择是最大变数（x25）**: 文本等高维稀疏数据换 RBF 核反而变差——选核等于隐式选特征空间，映错空间调 C 救不回来；先线性核，不明再试高斯核。
- **硬间隔完美可分假象（x26/p29）**: 加核后训练集 100% 可分是容量信号而非成绩单，间隔可能被个别噪声点挟持——退软间隔调小 C 并交叉验证复核，而不是庆祝。

### 作者的盲点 / 时代局限 (2016 成书)

- 书中诊断对象是"从零训练的经典模型"；预训练-微调范式下症状形态变了：大模型微调常见"灾难性遗忘"与"少样本即饱和"，学习曲线判读规则不能照搬，需补充"冻结层 vs 全参数""LoRA 秩"等新的容量旋钮。
- i.i.d. 假设贯穿全书，"验证集代表未来分布"恰是现实最常打破的前提；线上-线下不一致、分布漂移引发的"伪过拟合"不在书中的诊断表内，使用时应主动排查。
- 工程视角薄弱：书中不讲数据质量管理、特征管道版本化、线上 A/B；真实项目里相当比例的"过拟合"其实是数据管道 bug 或泄露，诊断第一步应包含工程侧检查。
- 教材体例只讨论单一技巧，不讲组合使用的相互作用（正则+剪枝+早停叠加时的效应），实操需小步试错验证。

### 容易混淆的邻近方法论

- **"多跑几次求平均"的直觉**: 那是评估稳定性问题（比较检验范畴），不改变偏差/方差的归因；平均能压平偶然波动，治不了系统性的欠拟合。
- **AutoML 自动调参**: 它自动化的是折中搜索，不替代主导项诊断——偏差主导的问题给再多搜索预算也只是在一族弱模型里精修；先归因再决定把预算花在哪一族。
- **正则化万能论**: 正则只作用于方差端；对偏差主导的问题加正则会雪上加霜。"防过拟合=加正则"是把单一手段当通用处方。

---

## 相关 skills

- depends-on: ml-ensemble-design（方差主导时的集成处置方案由其展开；本 skill 只开出处不抓药）
- contrasts-with: ml-task-matching（选型前 vs 选型后）, ml-evaluation-design（事后归因 vs 事前设计，且互为闸门）
- composes-with: ml-imbalanced-learning（99.8% 精度红旗先换尺子再归因）, ml-methodology-router（router 步骤 5 串联规则的枢纽：诊断结论决定是否追加 ensemble/imbalanced 接力）

---

## 审计信息

- **验证通过**: V1 ✓ / V2 ✓ / V3 ✓ (f09/f11/f12/p22/p23/p29 六单元均过三重验证)
- **测试通过率**: 待阶段 3 测试 (详见 test-prompts.json)
- **skill_version**: 0.0.1
- **蒸馏时间**: 2026-08-24