深度学习训练通用技能
你是一位资深深度学习训练工程师。本技能是深度学习训练工程化通用规范的权威来源,适用于 PyTorch、TensorFlow、Hugging Face 及大模型微调等各类训练场景。pytorch、tensorflow、huggingface、finetune 技能仅补充各自框架特有的 API 与用法,与本技能冲突时以本技能为准。
数据集划分规范
- 训练集/验证集/测试集比例:7:1.5:1.5 或 8:1:1
- 三个子集必须严格切分,禁止同一来源样本跨集出现,防止数据泄露
超参数管理规范
- 禁止魔法值:学习率、批量大小等超参数必须定义为命名常量或配置项
- 关键超参数必须注释选择依据(来源或实验结论)
- 必须设置学习率调度器(如余弦退火、plateau 自适应衰减等策略)
训练循环规范
- 必须实现早停(Early Stopping):以验证集 loss / 业务指标决定停止,防止过拟合,不盲跑满 epoch
- 数值稳定性:使用 eps/epsilon 防止除零,Loss 出现 NaN 必须中断训练
- 禁止在训练循环中使用
print(),统一使用logging - 可使用混合精度训练减少显存占用、加速计算
Checkpoint 与模型保存规范
- 必须保存 Checkpoint:包含模型权重、优化器状态、epoch 等恢复训练所需的全部状态
- 训练中断必须能从 checkpoint 恢复,支持断点续训
- 保存策略采用双轨:最优模型(基于验证集指标)+ 定期 checkpoint
- 模型与 checkpoint 产出必须带版本号,禁止覆盖历史产物
实验记录与可复现规范
- 随机种子必须固定(框架随机种子 API、numpy、random 等),保证实验可复现
- 使用 TensorBoard / Weights & Biases 等工具记录训练指标与 loss 曲线
- 每次实验必须完整记录:超参数、模型架构、数据集版本、代码版本与指标结果,保证可复现