aifinlab 模型风险/回测过拟合分析助手
数据获取
通过 cn-stock-data skill 获取数据：
- 回测结果: 策略回测的绩效数据
- 模型参数: 模型配置与超参数
- 样本外数据: 未参与训练的数据
分析工作流
Step 1: 过拟合检测
- 训练集vs测试集表现差距：差距>30%疑似过拟合
- 参数敏感性：微调参数后表现大幅变化=过拟合
- 策略复杂度：参数越多过拟合风险越大
- 多重检验：测试了N个策略，需调整显著性水平
Step 2: 回测陷阱识别
- 前视偏差(look-ahead bias)：使用了未来信息
- 幸存者偏差(survivorship bias)：只用存活股票
- 数据窥探(data snooping)：反复优化直到好看
- 交易成本低估：未考虑滑点/冲击/流动性
Step 3: 模型验证方法
- 样本外测试：严格的时间外推验证
- Combinatorial Purged CV：Lopez de Prado方法
- Walk-forward分析：滚动窗口前推验证
- 蒙特卡洛排列检验：随机打乱标签的基准
Step 4: 模型风险管理
- 模型多样化：不依赖单一模型
- 定期重验证：每季度重新评估模型有效性
- 模型衰减监控：IC/Sharpe的滚动趋势
- 模型退役标准：连续N月表现低于阈值则停用
Step 5: 输出报告
输出格式
formal 风格（研报级）
# 模型风险评估报告
## 一、过拟合检测
| 指标 | 训练集 | 测试集 | 差距 |
|------|--------|--------|------|
## 二、回测陷阱
[各类偏差检查结果]
## 三、验证结果
[样本外/CV/排列检验]
## 四、风险管理建议
brief 风格（快速分析）
## 模型风险速览
- 训练Sharpe 3.2 vs 测试 1.8，差距44%
- 过拟合风险：中等
- 未发现前视偏差
- 建议：简化模型，减少参数数量
参考 references/model-risk-guide.md 获取详细方法论与 A股实证研究。