fieldlu 深度训练排障手册 — 训练不动时按固定顺序逐层排除
R — 原文 (Reading)
（转述）Glorot 与 Bengio 主张：初始化应让信号在前向与反向传播中都保持稳定的方差尺度，否则深层网络的激活与梯度会随深度指数衰减或放大；He 等随后针对 ReLU 的单边响应修正方差系数，使极深网络从第一步起就能有效收敛。
— Xavier Glorot & Yoshua Bengio (2010)；Kaiming He 等《Delving Deep into Rectifiers》(2015)
（转述）Ioffe 与 Szegedy 提出：把每层输入按 mini-batch 统计量重新标准化，可显著缓解训练中层间输入分布的持续漂移，从而允许更大学习率、放宽对初始化的敏感度；训练用批统计量、推理须换滑动平均统计量。
— Sergey Ioffe & Christian Szegedy《Batch Normalization》(2015)
（转述）He 等观察到 56 层普通网络的训练误差反而高于 20 层——退化源于优化困难而非过拟合；将堆叠层重构为学习相对输入的残差映射（F(x)+x）后，上百层网络得以稳定训练。
— Kaiming He 等《Deep Residual Learning for Image Recognition》(2016)
I — 方法论骨架 (Interpretation)
深度训练失败极少是单一的神秘原因，绝大多数落在一条确定的排查链上。链的骨架由四组奠基工作搭起：
- 初始化（Glorot & Bengio 2010; He 2015）：各层激活与梯度方差若不被刻意稳定，信号会沿深度指数衰减或放大——训练不动先问"第一层出来的东西还活着吗"。
- 归一化（BatchNorm 2015 / LayerNorm 2016）：对层间输入重新标准化，允许更大学习率并放宽初始化敏感度；卷积/大批量场景 BN、序列与 Transformer 场景 LN 是当前共识分工。
- 优化器（momentum 2013; Adam 2015; AdamW 2019）：SGD+动量泛化口碑好但对超参娇气；Adam 系鲁棒省心，但权重衰减必须与自适应更新解耦（AdamW）才真正生效。
- 调度（warmup + 余弦/线性衰减，Vaswani 2017 起）：初期小步试探防热启动发散，后期退火做精修。
操作纪律三条：①先证明数据管道是通的（小样本过拟合测试），再谈优化器；②一次只动一个变量，否则涨跌都无法归因；③把梯度范数当仪表盘看——消失查激活/初始化/缺残差，爆炸上裁剪与降学习率。
A1 — 文献中的经典应用 (Past Application)
（本批主题超出西瓜书覆盖范围，A1 改引奠基文献的经典案例，均为学界公认的原始实验叙述）
案例 1: ResNet 与"退化问题"的定性
- 问题: He 等在 CIFAR-10 上发现 56 层普通卷积网的训练误差反而高于 20 层——不是过拟合（训练误差也高），是更深的网络优化不动。
- 方法论的使用: 先把"加深必然更好"的假设拆开，确认瓶颈在优化端而非容量端；再将堆叠层重构为 F(x)+x 的残差形式，给恒等映射留出默认通路，让梯度拥有跨层高速通道。
- 结论: 退化是优化问题而非容量问题；残差重构后 152 层网络可稳定训练。
- 结果: ResNet 拿下 2015 年 ImageNet/COCO 多项冠军；残差连接成为包括 Transformer 在内所有深层架构的标配组件。
案例 2: BatchNorm 的训练加速
- 问题: 深层 CNN 对初始化与学习率极度敏感、训练缓慢，层间输入分布在训练中不断变动被怀疑是元凶。
- 方法论的使用: 在每个 mini-batch 内对各层输入重新标准化，用可学习缩放参数恢复表达力；推理阶段改用滑动平均统计量保证输出确定。
- 结论: BN 允许大得多的学习率、对初始化不敏感，论文报告达到同等精度的训练步数缩减一个数量级（转述）。
- 结果: BN 成为计算机视觉训练十年的标配；其对批大小的依赖与训练/推理不一致的缺陷，后来催生 LayerNorm 在序列与生成模型中的全面取代。
案例 3: 优化器之争的裁决
- 问题: Wilson 等 (2017) 报告 Adam 类自适应方法在部分深度任务上泛化劣于 SGD 动量，引发"Adam 不如 SGD"的恐慌；而 NLP 从业者发现 Transformer 用 Adam 明显更稳。
- 方法论的使用: 把矛盾拆成两个变量——自适应步长本身，以及 L2 正则在自适应缩放下被稀释而失效。Loshchilov & Hutter 将权重衰减从梯度更新中解耦（AdamW）后逐一验证。
- 结论: 问题主要出在耦合方式而非自适应思想；解耦后的 AdamW 在视觉与 NLP 任务上同时改善泛化。
- 结果: AdamW 成为 Transformer 训练默认；"视觉常用 SGD 动量、NLP 默认 AdamW"的分工格局形成，优化器选型从信仰之争变成有据可依的决策。
A2 — 触发场景 (Future Trigger) ★
用户会在什么情境下需要这个 skill?
- 用户报告"loss 纹丝不动 / 一开始就 NaN / 训练到一半发散"，手里只有一个失败现象，不知从哪查起。
- 用户在配置训练脚本时纠结：初始化用哪种、BN 和 LN 怎么选、SGD 还是 Adam、warmup 加多少步、cosine 还是线性衰减。
- 用户怀疑梯度消失/爆炸（深层网络后半段没学到东西、loss 剧烈震荡），想知道确诊手段和对应处置。
- 用户换了硬件/框架后同样的配置训不出原来的结果，怀疑训练方差或复现性问题。
语言信号 (用户的话里出现这些就应激活)
- "loss 不降" / "训练发散" / "NaN" / "loss 爆了" / "converge 不了" / "training diverges"
- "梯度消失/爆炸" / "vanishing gradient" / "gradient exploding" / "残差连接要不要加"
- "初始化用 Xavier 还是 He" / "BatchNorm 还是 LayerNorm" / "warmup 要不要加" / "cosine 调度"
- "Adam 还是 SGD" / "AdamW 为什么好用" / "learning rate 怎么定" / "收敛慢"
与相邻 skill 的区分
- 与
ml-diagnosis的区别: 那是"训练正常但效果不好"的泛化归因（偏差/方差/噪声）；本 skill 管"训练过程本身不动/不稳"。loss 平稳下降但验证集差 → diagnosis；loss 降不动或 NaN → 本 skill。 - 与
ml-transformer-era的区别: 那是训练前的架构选型；本 skill 假设架构已定、进入执行层。不同架构的默认训练配方不同，先选骨架再来本 skill。 - 与
ml-overfitting-modern的区别: 那是 train-val gap 已经出现后的正则工具箱；本 skill 处理 gap 出现之前的训练动力学问题。
E — 可执行步骤 (Execution)
当 skill 被激活后, agent 应按以下步骤执行:
管道健全性测试（永远的第一步）
- 取 10~100 条训练样本（关闭增强与正则），把模型训到训练 loss≈0，并肉眼核对若干预测与标签的对齐关系。
- 完成标准: 小样本上训练损失趋近 0，预测-标签对齐无误。
- 判停条件: 若小样本都无法过拟合 → 问题在实现层（标签错位/预处理 train-test 不一致/损失配置错/容量过小），禁止进入优化器调参，回代码审查；能过拟合 → 进步骤 2。
初始化与归一化体检
- 检查初始化是否匹配激活函数族（sigmoid/tanh 用 Xavier，ReLU 族用 He）；打印前向传播逐层激活的均值与标准差；确认归一化层位置符合架构惯例（Transformer 主流为前置 LayerNorm）。
- 完成标准: 各层激活 std 同数量级、不随深度塌缩至 1e-3 以下或膨胀到 1e3 以上。
- 判停条件: 激活统计已显示塌缩/爆炸 → 先修初始化或补归一化，暂不触碰优化器。
学习率量级扫描
- 对数间隔扫 LR（如 1e-5 到 1），每个值跑数十 step 观察 loss 走向。
- 完成标准: 圈出"稳定下降不震荡"的最大量级与"纹丝不动"的最小量级，工作点取前者下方。
- 判停条件: 任何 LR 都 NaN → 查数值稳定性（fp16 溢出、log(0)、除零），加梯度裁剪/AMP scaler 后重扫；无任何 LR 能降 → 回步骤 1-2。
优化器与调度定型
- 按架构惯例取默认：Transformer 类 → AdamW + 线性 warmup（约总步数 1%-10%）+ 余弦/线性衰减；CV CNN → SGD+momentum 与 AdamW 皆值得一试。
- 完成标准: 配置卡写明 optimizer/lr/batch/warmup/scheduler 及选择依据（文献共识或本任务消融）。
- 判停条件: 算力只够一次实验 → 采用领域默认配置并如实标注"未经消融"。
梯度健康监控
- 全程记录梯度全局范数与逐层范数曲线。
- 完成标准: 给出"健康/消失/爆炸"判定及证据；消失 → 查激活饱和与初始化、加残差/密集连接；爆炸 → 设裁剪阈值并降 LR。
- 判停条件: loss 呈锯齿剧烈震荡 → 先降 LR 或加大 batch 再观察梯度，勿急于改架构。
收敛判定与方差确认
- 至少 3 个随机种子完整复跑最优配置，记录均值±标准差与环境信息（库版本/硬件）。
- 完成标准: 交付报告含多 seed 方差；seed 间差异大于效应量的结论不得写入报告。
- 判停条件: seed 间方差过大 → 先排查数据洗牌与非确定算子，再谈继续调参。
B — 边界 (Boundary) ★
不要在以下情况使用此 skill
- 训练本身正常（loss 平稳下降）但验证/测试不佳 → 这是泛化归因问题，走
ml-diagnosis；在这里调初始化是南辕北辙。 - 架构尚未确定 → 先走
ml-transformer-era；不同架构默认配方不同，先鸡后蛋必然返工。 - 传统 ML 模型（GBDT/线性/核方法）"训不动" → 这些模型没有初始化/归一化/梯度裁剪的概念，走
ml-diagnosis。
文献反复警告的失败模式
- 一次改三个旋钮: 同时换优化器+改 LR+加归一化，涨点不知归功谁、跌点不知怪谁——单变量消融是本 skill 的底线纪律。
- 小 batch 上迷信 BN: batch 个位数时批统计噪声极大且训练/推理不一致；序列与小 batch 场景改用 LayerNorm 是共识修正。
- warmup 缺失导致的假性发散: 大 batch/大模型直接热启动常在头几百步炸掉，容易被误诊为"模型不行"。
- 只盯终点 loss: NaN 常源于 fp16 溢出或 log(0) 这类局部数值事故；曲线形态（台阶/尖刺/平台期）才是诊断信息的主体。
- 单 seed 下结论: 深度训练方差远大于传统模型，单次运行的小差距多数是噪声。
作者盲点 / 时代局限（本批为外推补全）
- 必须声明: 本 skill 主题超出西瓜书覆盖范围——BOOK_OVERVIEW 批判节明确指出西瓜书（2016）第 5 章止于 BP 算法与浅层讨论，深度训练工程完全缺席；本 skill 是对该时代局限的外推补全，素材为 2010-2019 奠基文献的共识转述，方法论仍在快速演化（新型优化器与归一化变体层出不穷），执行时应以最新实证为准。
- 大参数量下"训练不动"的含义已分化：scaling law 语境下 loss 平滑但绝对值偏高是常态，与病态发散/平台期是完全不同的问题，经典"loss 不降 = 出 bug"的直觉需要重新标定。
- 随机种子与训练方差议题长期被文献低估：大模型训练的报告方差、数据顺序敏感性至今缺乏统一规范，本 skill 只能给出最低纪律（多 seed 报告），无法给出"多大方差算异常"的普适阈值。
- 过拟合的新形态（插值训练集却泛化良好）意味着"训练 loss 降到 0"不再自动等于红旗，详见
ml-overfitting-modern的双下降讨论。
容易混淆的邻近方法论
- AutoML/HPO: 自动化的是超参搜索，替代不了本 skill 的因果排查链——搜索空间漏了 warmup，搜一万组也白搜；先诊断再搜索。
- "炼丹玄学论": 把深度训练当不可理喻的巫术；上述排查链是确定性的，绝大多数"玄学"是变量未被控制的后果。
- 分布式/系统工程故障: 多卡同步 bug、数据加载器死锁同样表现为"训练慢/不动"，症状相似但根因在工程侧，应最先排除。
相关 skills
- depends-on: ml-transformer-era（架构定型才有默认训练配方）
- contrasts-with: ml-diagnosis（训练不动 vs 训练正常但泛化差，一线之隔）
- composes-with: ml-overfitting-modern（gap 出现后接力正则工具箱）, ml-methodology-router
审计信息
- 来源性质: 扩充批B·深度学习与大模型时代——主题超出西瓜书(2016)覆盖范围，R 段为经典文献共识的转述表述（均已标注"（转述）"）
- 验证通过: 待流水线三重验证复核
- 测试通过率: 待阶段 4 测试 (详见 test-prompts.json)
- skill_version: 0.0.1
- 蒸馏时间: 2026-08-24