Regression Analysis Expert

概述

回归分析是量化研究中最核心、最广泛应用统计方法，用于探究变量之间的关系、进行预测建模和因果推断。自Francis Galton在19世纪末发明回归概念以来，回归分析已经发展成为包含多种模型和技术方法的完整体系。

本技能提供完整的回归分析流程支持，涵盖从模型选择、数据诊断、参数估计、假设检验到结果解释的全过程。支持的回归模型包括：普通最小二乘法(OLS)、Logistic回归、多项Logistic回归、有序Logistic回归、泊松回归、负二项回归、稳健回归等多种类型。

回归分析的应用场景极为广泛，包括：社会科学实证研究（教育、心理、管理）、经济学因果推断和政策评估、医学临床研究中的风险因素分析、商业领域的预测建模和市场分析等。本技能特别强调模型假设的检验和诊断，确保分析结果的可靠性和可解释性。

🖥️ Python 工具

工具链

CLI用法

# 列出可用工具
ls tools/

# 运行主分析（根据具体工具调整）
python tools/analysis.py --input data.csv

理论基础

经典理论家与贡献

回归模型分类体系

回归模型
├── 线性回归
│   ├── 普通最小二乘回归 (OLS)
│   ├── 加权最小二乘回归 (WLS)
│   ├── 广义最小二乘回归 (GLS)
│   └── 稳健回归 (Robust)
│
├── 广义线性模型 (GLM)
│   ├── Logistic回归 (Binary)
│   ├── 多项Logistic回归 (Multinomial)
│   ├── 有序Logistic回归 (Ordinal)
│   ├── 泊松回归 (Poisson Count)
│   └── 负二项回归 (NB Count)
│
└── 特殊回归
    ├── 分层回归 (Hierarchical)
    ├── 调节回归 (Moderation)
    ├── 中介回归 (Mediation)
    ├── 非线性回归 (Polynomial/Spline)
    ├── 岭回归/LASSO (Regularized)
    └── 分位数回归 (Quantile)

🖥️ Python 工具

model_selector.py - 模型选择器

根据因变量特性和数据质量自动推荐最合适的回归模型。

因变量类型识别：

from tools.model_selector import RegressionModelSelector
import numpy as np

selector = RegressionModelSelector()

# 连续变量
y_continuous = np.random.normal(100, 15, 200)
rec = selector.recommend_model(y_continuous)
# → 推荐: OLS Regression

# 二分类变量
y_binary = np.random.binomial(1, 0.3, 200)
rec = selector.recommend_model(y_binary)
# → 推荐: Logistic Regression

# 计数变量
y_count = np.random.poisson(5, 200)
rec = selector.recommend_model(y_count)
# → 推荐: Poisson Regression (或 Negative Binomial)

diagnostic_tester.py - 回归诊断测试器

全面测试回归假设，包括正态性、同方差性、线性、多重共线性和异常值。

诊断阈值设置：

from tools.diagnostic_tester import RegressionDiagnostic
import numpy as np
from numpy.linalg import lstsq

diag = RegressionDiagnostic()

# 模拟OLS回归
np.random.seed(42)
n, k = 200, 3
X = np.random.randn(n, k)
X_const = np.column_stack([np.ones(n), X])
y = 2 + 1.5*X[:,0] + 0.5*X[:,1] + np.random.randn(n)*2

# OLS拟合
coeffs, _, _, _ = lstsq(X_const, y, rcond=None)
y_pred = X_const @ coeffs
residuals = y - y_pred

# 运行全部诊断
results = diag.run_all_diagnostics(y, y_pred, residuals, X, X_const)

# 查看结果摘要
print(f"状态: {results['summary']['status']}")
print(f"假设满足: {results['summary']['assumptions_met']}/{results['summary']['assumptions_total']}")

# 异常值检测
print(f"异常值数量: {results['details']['outliers']['summary']['n_outliers']}")

# 建议
for rec in results['recommendations']:
    print(f"  - {rec}")

effect_analyzer.py - 效应分析器

分析交互效应、中介效应和调节效应。

中介效应分析示例：

from tools.effect_analyzer import EffectAnalyzer
import numpy as np

analyzer = EffectAnalyzer()

# 数据：X → M → Y 的中介模型
np.random.seed(42)
n = 200
X = np.random.randn(n)              # 自变量
M = 0.5*X + np.random.randn(n)*0.5  # 中介变量
Y = 0.3*X + 0.4*M + np.random.randn(n)*0.5  # 因变量

# 中介效应分析
result = analyzer.mediation_analysis(Y, X, M, method='sobel')

print(f"路径 a (X→M): {result['paths']['a']['coefficient']:.3f}, p={result['paths']['a']['p_value']:.4f}")
print(f"路径 b (M→Y): {result['paths']['b']['coefficient']:.3f}, p={result['paths']['b']['p_value']:.4f}")
print(f"间接效应 (a×b): {result['indirect_effect']['coefficient']:.3f}")
print(f"中介类型: {result['mediation_type']}")

🚫 绝对禁止原则

回归分析必须遵循以下绝对禁止原则，任何违反都将严重影响分析质量：

1. 禁止忽略模型假设 - 必须检验线性、独立性、正态性、同方差性假设
2. 禁止忽视多重共线性 - VIF>10的变量必须处理，否则系数估计不稳定
3. 禁止忽视异常值 - 必须识别并报告Cook's距离和杠杆值高的问题观测
4. 禁止盲目追求显著 - 不应为了p<0.05而选择性报告或数据操纵
5. 禁止混淆相关与因果 - 回归系数不能直接解释为因果效应
6. 禁止忽视样本量要求 - 样本量必须满足10-20倍于自变量数的要求
7. 禁止忽视变量尺度 - 系数大小受变量尺度影响，必须标准化比较
8. 禁止忽略遗漏变量偏误 - 必须讨论潜在遗漏变量及其影响方向

5️⃣ 五阶段实施流程

阶段1：数据准备 (Data Preparation)

目标：确保数据质量，进行探索性分析

关键任务：

• 缺失值处理策略（删除、多重插补、EM算法）
• 异常值初步识别和处理
• 变量类型确认（连续、二分、计数、分类）
• 描述性统计和分布检验
• 相关矩阵和初步相关分析
• 数据分布转换判断

缺失数据处理策略对比：

阶段2：探索性分析 (Exploratory Analysis)

目标：理解数据结构，验证分析前提

关键任务：

• 绘制散点图矩阵，检查非线性关系
• 相关系数矩阵，识别高度相关变量
• 箱线图，检查异常值和分布
• 分布检验，正态性评估
• 交叉表，对分类变量的初步探索
• 功效分析，确定所需样本量

模型选择决策树：

因变量类型
│
├─ 连续
│   ├─ 样本量充足，无异常值 → OLS回归
│   ├─ 存在异常值 → 稳健回归
│   ├─ 需要正则化 → Ridge/LASSO回归
│   └─ 需要分位数估计 → 分位数回归
│
├─ 二分类
│   └─ Logistic回归
│
├─ 有序多分类
│   └─ 有序Logistic回归
│
├─ 名义多分类
│   └─ 多项Logistic回归
│
└─ 计数
    ├─ 方差≈均值 → 泊松回归
    └─ 方差>均值 → 负二项回归

阶段3：模型选择与估计 (Model Selection & Estimation)

目标：选择最优模型，估算参数

关键任务：

• 基于因变量类型选择模型族
• 变量选择（前向/后向/逐步/正则化）
• 交互项和二次项的添加
• 共线性检验和变量处理
• 模型估计和系数解释
• 伪R²/调整R²计算
• 信息准则（AIC、BIC）比较

变量选择方法对比：

阶段4：诊断验证 (Diagnostic Validation)

目标：检验模型假设，评估模型质量

关键任务：

• 正态性检验（Shapiro-Wilk, K-S）
• 同方差性检验（Breusch-Pagan, White）
• 线性假设检验（RESET检验、成分残差图）
• 多重共线性检验（VIF > 10 为问题阈值）
• 独立性检验（Durbin-Watson）
• 异常值检验（Cook's D > 4/n, Leverage > 2k/n）
• 预测值范围检查

诊断决策表：

阶段5：解释报告 (Interpretation & Reporting)

目标：清晰报告结果，提供可操作的洞察

关键任务：

• 标准化系数计算和比较
• 交互效应的简单斜率分析
• 中介效应的Sobel检验或Bootstrap
• 效应量和置信区间报告
• 结果可视化（森林图、系数图）
• APA格式结果报告
• 研究局限性讨论

✅ 质量标准

完整性标准

方法论标准

深度标准

分析流程

数据准备 → 探索性分析 → 模型选择 → 估计与检验 → 诊断验证 → 解释报告
    │            │             │          │           │           │
    ▼            ▼             ▼          ▼           ▼           ▼
 缺失处理     相关分析     因变量类型   参数估计    假设检验    效应解释
 异常识别     分布检验     模型族选择   假设检验    诊断补救    可视化
 数据清洗     可视化       变量选择     拟合度      异常值      报告撰写

效应量解释标准

Cohen's d 效应量标准

R² 解释标准

报告规范

遵循APA第七版要求，回归分析报告应包括：

1. 样本描述：样本量、有效样本、缺失数据处理
2. 模型拟合指标：R²、调整R²、F变化量
3. 系数估计表：B、SE、β、t、p、95%CI
4. 诊断检验结果：主要假设检验结论
5. 效应量报告：标准化系数或Cohen's d
6. 稳健性检验：替代模型结果比较

引用

@book{cohen2003applied,
  title={Applied multiple regression/correlation analysis for the behavioral sciences},
  author={Cohen, Jacob and Cohen, Patricia and West, Stephen G and Aiken, Leona S},
  year={2003},
  publisher={Routledge}
}

@book{fox2000nonparametric,
  title={Nonparametric Simple Regression: Smoothing Scatterplots},
  author={Fox, John},
  year={2000},
  publisher={Sage}
}

@book{harrell2015regression,
  title={Regression Modeling Strategies},
  author={Harrell Jr, Frank E},
  year={2015},
  publisher={Springer}
}

Version: 5.0.0 Created: 2026-03-15 Author: SocienceAI Team