Ml Methodology Router

ML 方法论总控路由（ML Methodology Router）

R — 原文 (Reading)

机器学习的本质是从有限样本出发在巨大假设空间中做选择以获得泛化能力，因此一切学习系统的设计都围绕"如何评估、如何选择、如何缓解过拟合"这三个问题展开。"泛化"——学得模型适用于没在训练集中出现的新样本的能力，是全书唯一最高目标。

— 周志华《机器学习》第1章绪论主旨（据阶段 0 BOOK_OVERVIEW 整书理解提炼）

I — 方法论骨架 (Interpretation)

本 skill 是三十八个子 skill 的调度器，自己不做任何具体分析。它做的事只有一件：在任何 ML 方法论问题被回答之前，先定位"用户此刻卡在工作流的哪一段"，再把问题交给管那一段的子 skill。

西瓜书的论证顺序就是这张路由图的来源：第1章先立根本目标（泛化）并证明"脱离任务谈算法优劣无意义"（NFL），第2章立刻建立评判武器库（评估方法 × 性能度量 × 比较检验 + 偏差-方差归因），之后各模型族、集成、降维、概率建模才围绕这条评估主线并列展开。也就是说：先明确任务与目标，再谈怎么评，最后才轮到用什么模型——用户的提问无论从哪句开始，都可以映射回这条主干上的某个位置。

批A 九个子 skill 原文锚定于西瓜书；批B/批C 十八个新子 skill 是对原书时代局限的外推补全：深度训练栈、HPO、实验可复现、特征工程、泄漏防御出自工程实践共识，Transformer/预训练范式/提示方法/LLM 评估出自经典文献共识；批D 五个新子 skill 补数学与架构基础（优化方法/CNN/RNN/AutoML-NAS/对齐 RLHF），批E 六个新子 skill 补应用与交叉学科（因果推断/XAI/联邦隐私/RAG/多模态/MLOps）——派发到这些 skill 时应保留其自带的时代边界声明。

十段工作流（路由表的分组依据）：

1. 选型前——问题还没被刻画清楚，或正在争论"谁更强"、该不该进某个范式；
2. 实验设计与数据准备——要跑实验、定度量、管数据、记过程；
3. 模型族内部施工——已选定某族模型，需要该族的专属决策树；
4. 训练与调参——训练动力学故障、正则配置、超参与架构搜索；
5. 结果诊断——已有结果但不符合预期，需要归因；
6. 特殊场景——问题带有结构性特殊信号（不平衡/高维/集成）；
7. 大模型场景——架构选型、范式档位、提示施工、LLM 能力评估；
8. 工程交付——上线前审计、理论适用性横向审查；
9. 专项进阶——横切的方法论深水区：优化理论、因果思维、事后解释、隐私保护；
10. LLM 应用与运维——对齐生产、检索增强、多模态建模、上线后生命周期。

A1 — 书中的应用 (Past Application)

案例 1: 全书章节编排本身就是一次路由决策

• 问题: 为什么一本机器学习教材在讲任何具体模型之前，先用整整一章讲"模型评估与选择"？
• 方法论的使用: 周志华把第2章（评估三件套 + 偏差-方差分解）置于所有模型章（线性/决策树/神经网络/SVM/贝叶斯，第3–7章）之前——编排上的主张是：没有科学的尺子，就没有资格谈模型好坏。
• 结论: 第2章成为全书枢纽，此后每章结尾都回扣"泛化性能"这条主线。
• 结果: BOOK_OVERVIEW 骨架确认"1→2 提出根本困难→建立评判武器库，之后各方法族围绕评估主线并列铺开"。

案例 2: Boosting vs Bagging 选型消费的是第2章的语言

• 问题: 第8章面对"该用串行还是并行集成"的选型问题时，需要一个归因标准。
• 方法论的使用: 作者没有发明新标准，而是路由回第2章的偏差-方差分解：偏差主导的问题走串行 Boosting 逐轮聚焦错例，方差主导的问题走并行 Bagging/随机森林。
• 结论: "Boosting 降偏差、Bagging 降方差"之所以成立，因为它消费的正是偏差-方差的诊断语言——两章互锁（verified 单元 f26 的证据链）。
• 结果: 一个跨章路由把散落的章节连成了决策路径，这正是本 skill 对九个子 skill 做的事。

案例 3: 同一数学的两种面目——再缩放与代价敏感同源

• 问题: 第3章讲类别不平衡的再缩放（按 m⁻/m⁺ 校正判决），第2章讲非均等代价的代价敏感学习，读者要不要学两遍？
• 方法论的使用: 识别出二者是同一公式：把再缩放比值中的 m⁻/m⁺ 换成 cost₊/cost₋，不平衡处理即刻变成代价敏感学习。
• 结论: 表面不同的"场景"实为同构问题，应路由到同一个数学内核。
• 结果: 本路由表中 ml-imbalanced-learning 与 ml-evaluation-design（代价敏感分支）的串联关系即源于此。

A2 — 触发场景 (Future Trigger) ★

用户会在什么情境下需要这个 skill?

1. 选型争论: 团队在吵"微调小模型 vs 大 API"、"XGBoost 还是深度网络"、"某某榜单第一为什么在我们数据上不行"、"要不要用强化学习"。
2. 实验开工前: 用户要做对比实验、写论文汇报结果、设计 A/B 或离线评估，不知道留出还是交叉验证、用 accuracy 还是 F1、seed 和配置怎么管。
3. 数据准备与施工: 拿到新表不知道各列怎么处理、只有几百条标注想榨干未标注数据、已选定某族模型需要该族的专属决策树。
4. 训练故障与调参: "loss 不降/NaN"、纠结初始化归一化 warmup、dropout 设多少、超参搜索怎么选算法、预算只够 N 次 trial。
5. 结果不如意: "模型效果不好"、"好像过拟合了"、"验证集掉点了"，需要系统归因而不是瞎调。
6. 上线/信任关口: 新模型准备上线、"结果好得可疑"、线下线上对不上，需要审查隐藏前提或做泄漏排查。
7. 大模型场景: "Transformer 还是 CNN"、"要不要微调/LoRA"、"prompt 时好时坏"、"LLM 榜单可信吗"。
8. 方法论深水区: 推导卡壳问 KKT/对偶、拿观测数据下因果结论、黑箱要向监管解释、数据合规不能集中。
9. LLM 应用与运维: 纠结 PPO 还是 DPO、知识库问答怎么搭、多模态要不要上、上线后效果悄悄下滑。

语言信号 (用户的话里出现这些就应激活)

• "该用什么算法/模型"、"哪个模型更好"、"SOTA/榜单"、"RL 能不能做 X"（→ 选型前）
• "怎么设计实验"、"怎么评估"、"数据该怎么划分"、"用什么指标"、"复现不了"、"特征这列怎么处理"（→ 实验设计与数据准备）
• "SVM 参数怎么选"、"贝叶斯网结构"、"HMM 还是 CRF"、"聚类分几类"、"要可解释的规则"、"图像用不用 CNN"、"序列上 LSTM 还是 Transformer"（→ 模型族内部施工）
• "loss 不降/NaN"、"warmup 要不要加"、"dropout 放哪层"、"grid 还是 random search"、"AutoML/NAS 划算吗"（→ 训练与调参）
• "效果不好"、"过拟合/欠拟合"、"掉点了"、"学习曲线封顶"（→ 结果诊断）
• "99% 精度"、"不平衡"、"冲榜"、"特征太多"（→ 特殊场景）
• "Transformer 还是 CNN"、"LoRA 还是全参"、"prompt 时好时坏"、"benchmark 可信吗"（→ 大模型场景）
• "要上线了"、"结果好得可疑"、"是不是有泄漏"、"理论上说"（→ 工程交付）
• "凸不凸/KKT/对偶"、"牛顿法还是梯度下降"、"相关还是因果/混杂/反事实"、"SHAP/LIME 怎么选"、"联邦学习/差分隐私"（→ 专项进阶）
• "RLHF/PPO 还是 DPO"、"RAG 还是长上下文"、"切块/embedding/重排"、"多模态融合/CLIP"、"PSI 漂移/什么时候重训"（→ LLM 应用与运维）

与相邻 skill 的区分

• 本 skill 与三十八个子 skill 是父子关系而非竞争关系：router 只负责定位与派发，绝不亲自展开分析；一旦定位完成，控制权移交对应子 skill。
• 与 ml-pitfall-audit 的区别: pitfall-audit 是可被路由到的终点之一，同时也是唯一会被 router 主动追加的横向检查（凡"即将上线/结果可疑"信号出现，即使已路由到其他 skill 也要追加提示）。

E — 可执行步骤 (Execution)

当 skill 被激活后, agent 应按以下步骤执行:

步骤 1: 边界回退检查（先做，最快）

• 动作: 判断问题是否为纯代码实现/语法问题——sklearn/PyTorch 等库的参数怎么填、报错栈解读、API 用法、画图代码。
• 完成标准: 二选一——是 → 不走路由，直接回答并结束；否 → 进入步骤 2。
• 注意: "调参语法"不路由，但"该调哪些超参、为什么"属于方法论，要路由。

步骤 2: 阶段定位

• 动作: 把用户问题映射到十段工作流之一——选型前 / 实验设计与数据准备 / 模型族内部施工 / 训练与调参 / 结果诊断 / 特殊场景 / 大模型场景 / 工程交付 / 专项进阶 / LLM 应用与运维。
• 完成标准: 能用一句话说出"用户处于 X 阶段，卡点是 Y"。说不出卡点就先向用户澄清，禁止盲派。

步骤 3: 特殊信号扫描

• 动作: 扫描十三类结构性信号——①类别不平衡 ②高维/特征过多 ③集成/冲榜 ④概率建模/生成式 ⑤上线前/结果可疑 ⑥理论保证疑问 ⑦训练动力学故障(loss 不降/NaN) ⑧泄漏嫌疑(线下线上不一致/too good to be true) ⑨大模型范式疑问(fine-tune/prompt/benchmark) ⑩因果疑问(do/干预/反事实/混杂) ⑪解释需求(黑箱/LIME/SHAP/合规解释) ⑫隐私约束(数据不出域/差分隐私/成员推断) ⑬LLM 应用架构与运维(RAG/多模态/对齐/漂移重训)。
• 判停条件: 任一信号命中 → 直接跳到步骤 4 派发对应专项 skill（信号优先级高于阶段归属，因为它们有专属处置流程）。

步骤 4: 查路由表派发

① 选型前

② 实验设计与数据准备

③ 模型族内部施工

④ 训练与调参

⑤ 结果诊断

⑥ 特殊场景

⑦ 大模型场景

⑧ 工程交付

⑨ 专项进阶

⑩ LLM 应用与运维

• 完成标准: 输出包含——派发目标 skill 名 + 一句"为什么派到那里"（引用上表判断依据列）。

步骤 5: 串联检查

• 动作: 判断是否需要第二个 skill 接力。书内验证过的常见链路:
  • ml-diagnosis 判定方差主导 → 追加 ml-ensemble-design（Bagging 降方差）
  • ml-evaluation-design 完成、且模型要交付 → 追加 ml-pitfall-audit
  • ml-task-matching 中用户援引理论保证 → 追加 ml-theory-compass
  • ml-evaluation-design 发现不平衡 → 移交 ml-imbalanced-learning
  • ml-imbalanced-learning / ml-ensemble-design 的隐藏前提疑问 → 回接 ml-pitfall-audit
• 批B/批C 扩展后的高频链路:
  • ml-diagnosis 确认值得精修（非偏差主导）→ 移交 ml-hpo-strategy 定怎么搜
  • ml-feature-engineering 构造完成、交付前 → 追加 ml-leakage-defense 审管道
  • ml-transformer-era 结论是"不必自训骨架" → 移交 ml-pretraining-paradigm 选档位；判停档位 0 → 再移交 ml-prompting-methodology
  • ml-prompting-methodology 回归测试显示到达提示档天花板 → 回接 ml-pretraining-paradigm 升档
  • ml-pretraining-paradigm 微调收益验收 → 追加 ml-llm-evaluation 的污染检查与回归测试纪律
  • ml-deep-training-playbook 训练正常但 gap 出现 → 移交 ml-overfitting-modern
  • ml-neural-training（经典语境）与现代器件问题并存时 → 按时代分界分流 ml-deep-training-playbook
  • ml-experiment-tracking 排除过程失控后仍"结果对不上/不好" → 移交 ml-diagnosis
  • ml-pitfall-audit 六问中泄漏一问存疑 → 深挖转介 ml-leakage-defense
• 批D/批E 扩展后的高频链路:
  • ml-optimization-methods 曲线健康收敛但泛化差 → 移交 ml-diagnosis 做"收敛≠泛化"归因
  • ml-cnn-vision / ml-rnn-sequence 设计定型后训不动 → 移交 ml-deep-training-playbook；跨族摇摆回接 ml-transformer-era
  • ml-automl-nas 留出集复核显著低于搜索期成绩 → 回 ml-leakage-defense 排查隐性过拟合；大模型下游判停转 ml-pretraining-paradigm
  • ml-pitfall-audit 六问发现"相关被当成因果" → 深挖移交 ml-causal-inference；causal 判定可随机化 → 移交 ml-evaluation-design 设计 A/B 协议
  • ml-explainability-xai 重要性排序出现异常特征 → 移交 ml-leakage-defense 深挖；用户拿解释设计干预 → 移交 ml-causal-inference 重新立项
  • ml-federated-privacy 过拟合作为隐私风险信号 → 回接 ml-overfitting-modern 的双下降甄别
  • ml-rag-systems 三路选型判微调档 → 移交 ml-pretraining-paradigm；生成段忠实度评估借 ml-llm-evaluation 的 judge 校正
  • ml-multimodal 各模态 encoder 选型 → 前置 ml-transformer-era；污染自查复用 ml-llm-evaluation 探针
  • ml-alignment-rlhf 对齐效果验收 → 追加 ml-llm-evaluation 的 rubric 与一致性校验；SFT 数据量问题回 ml-pretraining-paradigm
  • ml-mlops-deployment 上线前闸门由 ml-pitfall-audit 把守（audit 通过才进本辖区）；"线下好线上差"未排泄漏 → 先转 ml-leakage-defense
• 完成标准: 要么给出至多 2 个 skill 的接力顺序，要么明确声明"单 skill 足够"。
• 判停条件: 单次派发严禁超过 2 个子 skill——超过说明问题该拆分成多次对话。

B — 边界 (Boundary)

不要在以下情况使用此 skill

• 纯代码实现问题（sklearn 怎么调参语法、报错信息、绘图代码）: 这些是检索/调试问题，路由只会拖延回答。直接作答。
• 纯数学推导作业（"帮我推 SVM 对偶"）: 属于演算而非方法论决策，除非用户追问推导背后的取舍。
• 非 ML 话题: 本合集不覆盖常规软件开发、数据清洗脚本等。
• 三十八个 skill 都不覆盖的领域: 分布式训练工程（多卡通信/数据管道死锁）、安全红队评估（越狱/偏见专项）、因果发现的完整算法域与 do-演算证明、隐私攻击实现与密码学证明、多模态大模型内部机制研究——明确告知超出本合集覆盖范围，按通用工程常识回答并注明"此部分不出自西瓜书/经典文献共识"，禁止假装路由。（v0.0.1 超界清单中的 NAS、因果推断、RAG 端到端设计、MLOps 监控告警已由批D/批E 补全入合集，不再列为超界。）
• 分布漂移与域适应: 训练与线上数据分布本身随时间变化不是泄漏也不是诊断问题，处置方向是监控与再训练——ml-mlops-deployment 已覆盖漂移监控的工程纪律，但域适应算法（domain adaptation/adversarial learning）本身仍不在合集射程内，此类提问只做边界声明不做处方。

作者在书中警告的失败模式

• 脱离具体问题空谈算法优劣（NFL 寓意，第1章）——路由本身也不能代替任务刻画。
• 用训练误差代替泛化误差做决策（第2章）——任何"效果好"的断言先问测量方式。
• "彻底消灭过拟合"式的宣称（若可避免则 P=NP）——对任何声称保持怀疑并要求验证机制。

作者的盲点 / 时代局限（路由结论需打折的区域）

• 成书于 2015–2016: 深度学习仅简述，Transformer、预训练-微调、scaling law、few-shot 评测完全缺失——批B/批C 十八个子 skill 正是对这一时代局限的外推补全（经典文献共识/工程实践共识），派发到它们时结论需按各自 B 段声明打折。
• i.i.d. 假设贯穿全书: 分布漂移、域适应场景下评估体系的根基动摇（李未院士序言已专门质疑）。
• 工程落地环节薄弱: 数据质量管理、线上-线下一致性、A/B 上线流程不在书中——experiment-tracking/leakage-defense/hpo-strategy 三个子 skill 是工程共识补全，非原书内容。
• 教材体例约束: 书中方法从不讨论"多技巧组合时的相互作用"，而真实项目方法从不孤立出现——这正是本 router 串联步骤存在的理由，但也意味着串联建议是合理外推而非原文。
• 大模型方法论快速演化: pretraining-paradigm/prompting-methodology/llm-evaluation 的具体器件（PEFT 变体、judge 校正手段）仍在快速迭代，执行时以最新实证为准。

容易混淆的邻近方法论

• 不要把 router 当成"ML 百科问答入口"——知识查询（"什么是 SVM"）不需要路由，直接答；只有决策/判断类问题才路由。
• 不要因为问题里出现"模型"二字就激活——"帮我把这个 ONNX 模型部署到手机"是工程问题。

相关 skills

• dispatches-to（全部三十八个子 skill，按十段工作流分组，见 frontmatter related_skills）:
  • 选型前: ml-task-matching, ml-rl-decision-loop
  • 实验设计与数据准备: ml-evaluation-design, ml-experiment-tracking, ml-feature-engineering, ml-leakage-defense, ml-semisupervised
  • 模型族内部施工: ml-bayesian-thinking, ml-graphical-models, ml-rule-learning, ml-clustering-toolkit, ml-svm-playbook, ml-neural-training, ml-multiclass-strategies, ml-cnn-vision, ml-rnn-sequence
  • 训练与调参: ml-deep-training-playbook, ml-overfitting-modern, ml-hpo-strategy, ml-automl-nas
  • 结果诊断: ml-diagnosis
  • 特殊场景: ml-imbalanced-learning, ml-dimensionality, ml-ensemble-design
  • 大模型场景: ml-transformer-era, ml-pretraining-paradigm, ml-prompting-methodology, ml-llm-evaluation
  • 工程交付: ml-pitfall-audit, ml-theory-compass
  • 专项进阶: ml-optimization-methods, ml-causal-inference, ml-explainability-xai, ml-federated-privacy
  • LLM 应用与运维: ml-alignment-rlhf, ml-rag-systems, ml-multimodal, ml-mlops-deployment
• 组合约定: router 是唯一入口；子 skill 之间不得互相调用，接力一律经由 router 的步骤 5 串联规则。
• 共享术语表: 见仓库根目录 GLOSSARY.md（西瓜书 62 条核心术语 + 批B/批C/批D/批E 现代术语增补）。

审计信息

• 验证通过: V1 ✓ / V2 ✓ / V3 ✓（router 无独立验证单元；由阶段 1.5 通过的 39 条框架单元 + 53 条反例/案例素材按 skill_groups.json 组装；批B/批C 扩容后路由表 27 行、批D/批E 扩容后路由表 38 行均经交叉核对各子 skill frontmatter 与 A2/B 段）
• 测试通过率: 待阶段 4 压力测试（test-prompts.json 已生成，9 条/文件）
• skill_version: 0.0.2
• 蒸馏时间: 2026-08-24