Ab Test Designer

A/B Test Designer 🧪

科学的 A/B 测试设计，数据驱动的优化决策

专业的 A/B 测试设计系统，帮助电商企业设计、执行和分析科学的 A/B 测试，通过数据驱动优化产品页面和营销策略。

🎯 核心功能

1. 测试设计

测试类型:
├─ 标题测试
├─ 价格测试
├─ 图片测试
├─ 描述测试
├─ CTA测试
├─ 布局测试
└─ 完整页面测试

测试要素:
├─ 原假设（H0）
├─ 备择假设（H1）
├─ 变量定义
├─ 对照组设置
└─ 实验组设置

2. 样本量计算

计算参数:
├─ 基准转化率
├─ 最小检测效应（MDE）
├─ 显著性水平（α）
├─ 统计功效（1-β）
└─ 测试变体数量

计算方法:
├─ Z检验样本量
├─ 卡方检验样本量
├─ 顺序检验样本量
└─ 贝叶斯样本量

3. 统计分析

分析方法:
├─ Z检验（比例）
├─ t检验（均值）
├─ 卡方检验（分类）
├─ 方差分析（多组）
└─ 贝叶斯分析（概率）

显著性指标:
├─ p值
├─ 置信区间
├─ 效应量
└─ 统计功效

4. 结果解读

解读维度:
├─ 统计显著性
├─ 实际显著性
├─ 商业影响
├─ 风险评估
└─ 实施建议

可视化:
├─ 转化率曲线
├─ 置信区间图
├─ 累积收益图
└─ 贝叶斯后验分布

📋 A/B 测试流程

Step 1: 问题定义

识别机会:
  数据分析:
    - 高流量页面
    - 低转化率页面
    - 高跳出率页面
    - 高退单率页面

  用户反馈:
    - 客户投诉
    - 评价反馈
    - 客服咨询
    - 用户测试

  竞品分析:
    - 竞品做法
    - 行业趋势
    - 最佳实践
    - 创新机会

  优先级评估:
    - 影响范围
    - 实施难度
    - 资源投入
    - 预期收益

Step 2: 假设形成

假设结构:
  IF-THEN-BECAUSE:
    IF: [改变什么]
    THEN: [预期结果]
    BECAUSE: [原因机制]

示例:
  IF: 将"立即购买"改为"加入购物车-免运费"
  THEN: 转化率提升 15%
  BECAUSE: 降低决策风险，增加购买动机

假设评估:
  具体: 可量化
  可测: 可验证
  相关: 与目标相关
  时间: 有时间框架

Step 3: 变体设计

设计原则:
  单一变量:
    - 一次测试一个变量
    - 避免混淆因素
    - 清晰归因

  对照组:
    - 保持原样
    - 作为基准
    - 随机分配

  实验组:
    - 修改目标变量
    - 控制其他因素
    - 独立随机分配

设计示例:
  标题测试:
    对照组: "Markdown 编辑器"
    实验组: "技术写作者的 Markdown 编辑器"

  价格测试:
    对照组: ¥99
    实验组: ¥89（限时优惠）

  CTA测试:
    对照组: "提交"
    实验组: "立即获得-30天退款保证"

Step 4: 样本量计算

计算公式:
  两比例检验:
    n = (Zα/2 + Zβ)² × [p1(1-p1) + p2(1-p2)] / (p1-p2)²

参数设定:
  α (显著性水平): 0.05
  1-β (统计功效): 0.8
  p1 (基准转化率): 0.02
  p2 (目标转化率): 0.023 (+15%)

快速计算表:
  基准率 | 提升 | 每组样本量 | 总样本量
  ------|-----|----------|--------
  1%    | 20% | 156,800  | 313,600
  2%    | 15% | 46,800   | 93,600
  3%    | 10% | 39,000   | 78,000
  5%    | 10% | 23,400   | 46,800
  10%   | 5%  | 15,600   | 31,200

Step 5: 测试执行

执行步骤:
  准备:
    - 技术实现
    - 数据追踪
    - 质量检查
    - 灰度发布

  启动:
    - 随机分流
    - 流量分配
    - 监控启动
    - 实时检查

  监控:
    - 每日检查
    - 异常检测
    - 数据质量
    - 用户体验

  结束:
    - 达到样本量
    - 统计显著性
    - 时间限制
    - 商业决策

Step 6: 结果分析

统计分析:
  描述性统计:
    - 转化率
    - 标准差
    - 置信区间
    - 效应量

  推断性统计:
    - p值
    - 显著性判断
    - 统计功效
    - 贝叶斯概率

  商业分析:
    - 收益估算
    - 成本分析
    - ROI计算
    - 风险评估

🧪 常见测试场景

场景 1: 产品标题测试

测试目标: 提升点击率和转化率

对照组:
  标题: "无线蓝牙耳机"

实验组 A:
  标题: "降噪无线蓝牙耳机 - 30小时续航"

实验组 B:
  标题: "运动健身专用蓝牙耳机 - 防水防汗"

假设:
  H0: 标题修改不影响转化率
  H1: 包含卖点的标题提升转化率 20%

样本量:
  基准转化率: 2%
  预期提升: 20%
  每组样本: 46,800访客
  测试周期: 2-3周

成功标准:
  - 统计显著性: p < 0.05
  - 最小提升: >15%
  - 置信区间: 不跨越0

场景 2: 价格测试

测试目标: 找到最优价格点

对照组:
  价格: ¥199

实验组 A:
  价格: ¥179（-10%）

实验组 B:
  价格: ¥189（-5%）

假设:
  H0: 价格变化不影响总收益
  H1: 降价提升销量，总收益增加

关注指标:
  - 转化率
  - 总收益
  - 利润率
  - 客单价

样本量:
  基准转化率: 3%
  每组样本: 39,000访客
  测试周期: 2-3周

风险控制:
  - 设置最低价格
  - 监控利润率
  - 库存影响
  - 品牌价值

场景 3: CTA 按钮测试

测试目标: 提升点击率

对照组:
  文案: "提交"
  颜色: 灰色
  位置: 右下角

实验组 A:
  文案: "立即购买-免运费"
  颜色: 红色
  位置: 右下角

实验组 B:
  文案: "立即购买-30天退款保证"
  颜色: 绿色
  位置: 右下角

假设:
  H0: CTA修改不影响点击率
  H1: 降低风险的CTA提升点击率 25%

样本量:
  基准点击率: 5%
  预期提升: 25%
  每组样本: 15,600访客
  测试周期: 1-2周

场景 4: 产品图片测试

测试目标: 提升转化率和停留时间

对照组:
  图片: 产品白底图

实验组 A:
  图片: 产品使用场景图

实验组 B:
  图片: 产品+模特图

假设:
  H0: 图片类型不影响转化率
  H1: 场景化图片提升转化率 15%

关注指标:
  - 转化率
  - 停留时间
  - 跳出率
  - 点击率

样本量:
  基准转化率: 2.5%
  预期提升: 15%
  每组样本: 54,600访客
  测试周期: 3-4周

场景 5: 价格展示测试

测试目标: 优化价格展示方式

对照组:
  展示: "¥199"

实验组 A:
  展示: "¥199 ¥299"（划线价）

实验组 B:
  展示: "¥199 (省¥100)"

实验组 C:
  展示: "分期: ¥16.58×12期"

假设:
  H0: 展示方式不影响转化率
  H1: 锚定价格提升感知价值，提升转化率

样本量:
  基准转化率: 2%
  每组样本: 46,800访客
  测试周期: 2-3周

📊 统计分析方法

Z 检验（比例检验）

# 转化率比较
from statsmodels.stats.proportion import proportions_ztest

# 数据
control_conversions = 1000
control_total = 50000
treatment_conversions = 1200
treatment_total = 50000

# 执行检验
count = [control_conversions, treatment_conversions]
nobs = [control_total, treatment_total]
z_stat, p_value = proportions_ztest(count, nobs)

# 结果判断
if p_value < 0.05:
    print("统计显著！p =", p_value)
else:
    print("不显著", p_value)

# 计算提升
control_cr = control_conversions / control_total
treatment_cr = treatment_conversions / treatment_total
lift = (treatment_cr - control_cr) / control_cr
print(f"提升: {lift:.2%}")

置信区间

import numpy as np
from statsmodels.stats.proportion import proportion_confint

# 转化率置信区间
conversions = 1200
total = 50000
cr = conversions / total

# 95% 置信区间
ci_low, ci_upp = proportion_confint(conversions, total, alpha=0.05)
print(f"转化率: {cr:.4f}")
print(f"95% CI: [{ci_low:.4f}, {ci_upp:.4f}]")

# 提升置信区间
# 需要考虑两组的方差

效应量（Cohen's d）

# 标准化均值差异
import numpy as np
from scipy import stats

# 两组数据
control = np.array([...])  # 对照组数据
treatment = np.array([...])  # 实验组数据

# 计算效应量
pooled_std = np.sqrt(
    ((len(control)-1)*control.std()**2 +
     (len(treatment)-1)*treatment.std()**2) /
    (len(control) + len(treatment) - 2)
)
cohens_d = (treatment.mean() - control.mean()) / pooled_std

# 解释
if abs(cohens_d) < 0.2:
    effect = "小"
elif abs(cohens_d) < 0.5:
    effect = "中"
elif abs(cohens_d) < 0.8:
    effect = "大"
else:
    effect = "非常大"

print(f"Cohen's d: {cohens_d:.3f} ({effect}效应)")

🚀 快速命令

设计简单测试

/ab-test-designer --design --type "标题" --page "产品页"

计算样本量

/ab-test-designer --calculate --baseline 0.02 --lift 0.15

分析测试结果

/ab-test-designer --analyze --control 0.02 --treatment 0.023 --n 50000

完整测试方案

/ab-test-designer --full --element "CTA按钮" --variants 3

💡 最佳实践

1. 测试设计

• 从高影响、低成本开始
• 一次测试一个变量
• 确保足够的样本量
• 设置清晰的假设

2. 数据质量

• 确保随机分流
• 排除异常流量
• 监控数据完整性
• 验证追踪代码

3. 统计严谨

• 不提前停止测试
• 不窥视数据
• 使用正确的检验方法
• 考虑多重比较

4. 商业决策

• 统计显著 ≠ 商业显著
• 考虑实施成本
• 评估长期影响
• 记录学习成果

📊 成功指标

测试质量

• 统计功效 >80%
• p值 <0.05
• 效应量 >0.2
• 置信区间窄

商业价值

• 年化收益 >测试成本10倍
• 实施后持续监控
• 知识库积累
• 文化建立

⚠️ 常见错误

统计错误

• 样本量不足
• 提前停止测试
• 窥视数据
• 忽略方差

实施错误

• 未随机分流
• 追踪错误
• 新奇效应
• 污染数据

决策错误

• 只关注统计显著性
• 忽略效应量
• 外推过度
• 确认偏误

🔗 相关 Skills

• /prime-page-builder - 创建测试页面
• /basic-analytics - 监控测试数据
• /checkout-optimizer - 优化结账流程
• /prime-product-desc - 优化产品描述

让每一个决策都有数据支持！ 📊

版本: 1.0.0 更新: 2026-04-12 作者: Shopilot Team