Ab Testing Analyzer

AB测试分析技能 (AB Testing Analyzer)

一个功能完整的智能AB测试分析工具，基于"数据分析咖哥十话"的AB测试模块开发。

🎯 技能概述

本技能提供从实验设计到结果分析的完整AB测试解决方案，支持多种统计检验方法、用户分群分析和可视化报告生成。

✨ 核心特性

• 🧪 完整的AB测试流程

  • 实验设计和样本量计算
  • 随机分组验证
  • 转化率和留存率分析
  • 统计显著性检验

• 📊 全面的统计方法

  • t检验 (独立样本、配对样本)
  • 卡方检验 (拟合优度、独立性)
  • 置信区间估计
  • 效应量计算
  • 多重比较校正

• 👥 智能用户分群

  • 价值分群 (高/低价值客户)
  • 人口统计学分群
  • 行为模式分群
  • 自定义分群策略
  • 交互效应分析

• 📈 丰富的可视化功能

  • 转化率对比图
  • 留存率曲线图
  • 用户分群热力图
  • 交互效应可视化
  • 统计检验结果图

• 🔧 高级分析功能

  • 多变量AB测试
  • 贝叶斯AB测试
  • 时间序列分析
  • 稳健性检查
  • 因果推断支持

🚀 快速开始

1. 环境要求

# 依赖包
pip install pandas numpy scipy matplotlib seaborn statsmodels

2. 基础使用

from scripts.ab_test_analyzer import ABTestAnalyzer
from scripts.statistical_tests import StatisticalTests
from scripts.visualizer import ABTestVisualizer

# 初始化分析器
analyzer = ABTestAnalyzer()
stats_tests = StatisticalTests()
visualizer = ABTestVisualizer()

# 加载AB测试数据
data = analyzer.load_data('ab_test_data.csv')

# 基础转化率分析
conversion_results = analyzer.analyze_conversion(
    data,
    group_col='页面版本',
    conversion_col='是否购买'
)

# 统计显著性检验
t_test_result = stats_tests.t_test(
    data,
    group_col='页面版本',
    metric_col='是否购买'
)

# 生成可视化报告
fig = visualizer.plot_conversion_comparison(conversion_results)

3. 运行示例

# 快速测试
python quick_test.py

# 基础AB测试示例
python examples/basic_ab_test_example.py

# 高级分群分析示例
python examples/advanced_segmentation_example.py

# 综合分析示例
python examples/comprehensive_analysis_example.py

📁 项目结构

ab-testing-analyzer/
├── SKILL.md                     # 技能详细文档
├── README.md                    # 使用指南 (本文件)
├── quick_test.py               # 快速功能测试
├── test_skill.py               # 完整测试套件
│
├── scripts/                    # 核心功能模块
│   ├── __init__.py
│   ├── ab_test_analyzer.py         # AB测试核心分析
│   ├── statistical_tests.py        # 统计检验模块
│   ├── segment_analyzer.py         # 用户分群分析
│   └── visualizer.py              # 可视化生成器
│
└── examples/                   # 示例和数据
    ├── sample_data/            # 样本数据
    │   ├── sample_ab_test_data.csv
    │   └── sample_user_segments.csv
    ├── basic_ab_test_example.py     # 基础AB测试示例
    ├── advanced_segmentation_example.py # 高级分群分析示例
    └── comprehensive_analysis_example.py # 综合分析示例

💡 主要功能

1. AB测试基础分析

转化率分析

# 计算各组转化率
conversion_rates = analyzer.calculate_conversion_rates(
    data,
    group_col='实验组别',
    conversion_col='转化状态'
)

# 计算提升率和置信区间
lift_analysis = analyzer.calculate_lift(
    conversion_rates,
    control_group='对照组',
    test_group='测试组'
)

留存率分析

# 计算留存率
retention_rates = analyzer.calculate_retention_rates(
    data,
    group_col='实验组别',
    retention_col='retention_7'
)

# 留存率曲线可视化
fig = visualizer.plot_retention_curves(retention_rates)

2. 统计显著性检验

t检验

# 独立样本t检验
t_result = stats_tests.t_test(
    data,
    group_col='页面版本',
    metric_col='购买金额',
    test_type='independent'
)

# 配对样本t检验
paired_t_result = stats_tests.t_test(
    before_after_data,
    group_col='用户ID',
    metric_col='行为指标',
    test_type='paired'
)

卡方检验

# 拟合优度检验
chi2_goodness = stats_tests.chi_square_test(
    observed_data,
    expected_data,
    test_type='goodness_of_fit'
)

# 独立性检验
chi2_independence = stats_tests.chi_square_test(
    data,
    group_col='实验组别',
    outcome_col='转化状态',
    test_type='independence'
)

效应量计算

# Cohen's d计算
cohens_d = stats_tests.cohens_d(
    data,
    group_col='实验组别',
    metric_col='转化状态'
)

# Cramer's V计算
cramers_v = stats_tests.cramers_v(data, group_col, outcome_col)

3. 用户分群分析

价值分群

from scripts.segment_analyzer import SegmentAnalyzer

segment_analyzer = SegmentAnalyzer()

# 基于价值的用户分群
value_segments = segment_analyzer.value_based_segmentation(
    data,
    value_col='累计消费金额',
    n_tiers=3
)

# 分群转化率分析
segment_conversion = segment_analyzer.segment_conversion_analysis(
    data,
    segment_col='价值组别',
    group_col='实验组别',
    conversion_col='转化状态'
)

交互效应分析

# 页面版本与用户特征的交互效应
interaction_analysis = segment_analyzer.interaction_analysis(
    data,
    group_col='页面版本',
    segment_col='价值组别',
    outcome_col='转化状态'
)

# 交互效应可视化
fig = visualizer.plot_interaction_effects(interaction_analysis)

4. 高级统计分析

贝叶斯AB测试

# 贝叶斯AB测试分析
bayesian_result = analyzer.bayesian_ab_test(
    data,
    group_col='实验组别',
    conversion_col='转化状态',
    prior='jeffreys'
)

# 计算获胜概率
win_probability = analyzer.calculate_win_probability(bayesian_result)

多变量检验

# 多变量AB测试 (MVT)
mvt_result = analyzer.multivariate_test(
    data,
    group_cols=['页面版本', '按钮颜色', '标题文案'],
    conversion_col='转化状态'
)

5. 可视化报告

基础图表

# 转化率对比图
fig = visualizer.plot_conversion_comparison(
    conversion_data,
    title='AB测试转化率对比'
)

# 置信区间图
fig = visualizer.plot_confidence_intervals(
    statistical_results,
    metric='转化率'
)

# 用户分群热力图
fig = visualizer.plot_segment_heatmap(
    segment_data,
    title='用户分群转化率热力图'
)

交互式仪表板

# 生成交互式仪表板
dashboard = visualizer.create_interactive_dashboard(
    analysis_results,
    output_file='ab_test_dashboard.html'
)

📊 数据格式

AB测试数据格式 (ab_test_data.csv)

用户ID,实验组别,转化状态,留存状态,累计消费金额,性别,年龄,价值组别,设备类型
U001,测试组,是,TRUE,299.99,男,25,高价值,移动端
U002,对照组,否,FALSE,59.99,女,32,低价值,PC端
U003,测试组,是,TRUE,599.99,男,28,高价值,移动端
U004,对照组,否,FALSE,199.99,女,35,中价值,PC端

用户分群数据格式 (user_segments.csv)

用户ID,RFM分群,行为分群,人口统计分群,综合分群
U001,高价值,活跃用户,年轻男性,高价值年轻用户
U002,低价值,流失用户,成熟女性,需要唤醒用户

🎯 应用场景

产品优化

• 网页改版效果评估
• 功能上线影响分析
• 用户界面优化测试
• 性能改进验证

营销活动

• 广告创意测试
• 促销策略评估
• 邮件营销优化
• 社交媒体活动分析

运营策略

• 定价策略测试
• 推荐算法优化
• 用户注册流程改进
• 客户服务策略评估

⚙️ 高级配置

统计参数设置

# 设置显著性水平
analyzer.set_significance_level(alpha=0.05)

# 设置统计功效
analyzer.set_statistical_power(power=0.8)

# 设置多重比较校正方法
analyzer.set_multiple_comparison_correction(method='bonferroni')

自定义分群策略

# 定义自定义分群规则
custom_segments = {
    'high_value': {'累计消费金额': (500, float('inf'))},
    'medium_value': {'累计消费金额': (100, 500)},
    'low_value': {'累计消费金额': (0, 100)}
}

# 应用自定义分群
segmented_data = segment_analyzer.apply_custom_segments(
    data,
    segment_rules=custom_segments
)

高级可视化配置

# 设置图表风格
visualizer.set_style(style='seaborn', palette='viridis')

# 自定义图表配置
chart_config = {
    'figsize': (12, 8),
    'dpi': 300,
    'format': 'png',
    'style': 'professional'
}

fig = visualizer.plot_with_config(data, config=chart_config)

🐛 常见问题

Q: 如何确定合适的样本量？

A: 使用样本量计算功能，考虑效应量、显著性水平和统计功效来计算最小样本量。

Q: p值小于0.05是否意味着结果显著？

A: p值小于0.05表示在原假设为真的情况下，观察到当前结果或更极端结果的概率小于5%。需要结合效应量和实际意义来解释。

Q: 如何处理多重比较问题？

A: 使用Bonferroni校正、FDR校正等方法来调整p值，避免假阳性。

Q: 何时使用贝叶斯AB测试？

A: 当需要先验信息、样本量较小或想要获得概率性结论时，考虑使用贝叶斯方法。

📈 性能优化

• 使用向量化操作加速计算
• 实现增量统计更新
• 采用并行计算处理大数据
• 缓存计算结果避免重复计算
• 优化内存使用模式

📚 技术原理

统计检验基础

基于假设检验理论，通过计算检验统计量和p值来判断实验结果的统计显著性。

中心极限定理

在大样本情况下，样本均值的分布趋近于正态分布，为许多统计方法提供理论基础。

贝叶斯推断

结合先验信息和观测数据，通过后验分布进行参数估计和假设检验。

多重比较校正

当同时进行多个假设检验时，控制总体错误率，避免假阳性结果的增加。

🤝 贡献指南

欢迎提交Issue和Pull Request来改进这个技能。

📄 许可证

MIT License

🎉 开始使用

现在你已经了解了AB测试分析技能的所有功能，可以开始使用了：

# 快速验证功能
python quick_test.py

# 运行示例
python examples/basic_ab_test_example.py

享受你的AB测试分析之旅！🚀