haomingz A/B Test Analyzer
对 A/B 测试数据进行全面的统计分析，输出结构化的 JSON 结果和中文建议。
功能
- 转化率差异：计算对照组与实验组的绝对差异和相对提升
- Z 检验：双比例 Z 检验，判断转化率差异是否具有统计显著性
- 卡方检验：2×2 列联表卡方检验，作为显著性的交叉验证
- 置信区间：转化率差异的置信区间（默认 95%）
- 功效分析：评估当前样本量下检测到差异的统计功效
- 最小样本量：基于期望功效和最小可检测效应，估算每组所需样本量
使用方式
输入格式（JSON）
通过 stdin 或命令行参数传入：
{
"control_visitors": 10000,
"control_conversions": 500,
"treatment_visitors": 10000,
"treatment_conversions": 550,
"alpha": 0.05,
"desired_power": 0.8,
"mde": 0.01
}
| 字段 | 必填 | 说明 |
|---|---|---|
control_visitors |
是 | 对照组访客数 |
control_conversions |
是 | 对照组转化数 |
treatment_visitors |
是 | 实验组访客数 |
treatment_conversions |
是 | 实验组转化数 |
alpha |
否 | 显著性水平，默认 0.05 |
desired_power |
否 | 期望统计功效，默认 0.8 |
mde |
否 | 最小可检测效应（绝对值），默认使用观测差异 |
运行
# 通过 stdin
echo '{"control_visitors":10000,"control_conversions":500,"treatment_visitors":10000,"treatment_conversions":550}' | python3 scripts/ab_test_analyze.py
# 通过命令行参数
python3 scripts/ab_test_analyze.py '{"control_visitors":10000,"control_conversions":500,"treatment_visitors":10000,"treatment_conversions":550}'
输出格式
{
"conversion_rates": {
"control": 0.05,
"treatment": 0.055,
"absolute_difference": 0.005,
"relative_lift_percent": 10.0
},
"z_test": {
"z_statistic": 1.5852,
"p_value": 0.11292,
"significant": false
},
"chi_square_test": {
"chi2_statistic": 2.5129,
"p_value": 0.11292,
"significant": false
},
"confidence_interval": {
"level": 0.95,
"lower": -0.001182,
"upper": 0.011182
},
"power_analysis": {
"observed_power": 0.3542,
"desired_power": 0.8,
"sufficient_power": false
},
"sample_size": {
"minimum_per_group": 31234,
"alpha": 0.05,
"desired_power": 0.8,
"detectable_effect": 0.005
},
"recommendation": "未检测到显著差异 (p=0.1129 ≥ α=0.05)；当前统计功效不足 (35.42% < 80%)，结果可能不可靠；建议每组至少收集 31,234 个样本"
}
依赖
仅使用 Python 标准库（Python 3.8+），无需安装任何第三方包。
统计方法说明
- Z 检验使用 pooled 标准误，适用于大样本（各组 ≥30）
- 卡方检验基于 2×2 列联表，与 Z 检验在大样本下等价（χ² ≈ z²）
- 置信区间使用 unpooled 标准误（Wald 方法）
- 功效/样本量基于正态近似，使用双侧检验