# Ab Test Analysis

> 分析 A/B 测试结果，涵盖统计显著性检验、样本量验证、置信区间计算及上线/延长/停止的决策建议。适用于评估实验结果、判断测试是否达到显著性、解读分流测试数据，或决定是否上线某个实验组。

- Skill: `killvxk/ab-test-analysis` (Agent Skill)
- Install (CLI): `npx skillmds@latest add killvxk/ab-test-analysis`
- Raw SKILL.md: https://api.skillmd.com/api/skills/killvxk/ab-test-analysis/raw
- Safety review: pending
- Works with: Claude Code, Claude.ai, OpenAI Codex
- Category: Data & Analytics
- Author: killvxk (https://skillmd.com/u/killvxk)
- Updated: 2026-09-17
- Page: https://skillmd.com/skills/killvxk/ab-test-analysis

---


## A/B 测试分析

以严格的统计方法评估 A/B 测试结果，并将发现转化为清晰的产品决策。

### 背景

你正在分析 **$ARGUMENTS** 的 A/B 测试结果。

如果用户提供了数据文件（CSV、Excel 或数据分析平台导出文件），直接读取并分析。如有需要，生成 Python 脚本执行统计计算。

### 操作步骤

1. **理解实验背景**：
   - 假设是什么？
   - 改动了什么（实验组的变化）？
   - 主要指标是什么？是否有护栏指标？
   - 测试运行了多长时间？
   - 流量分配比例是多少？

2. **验证测试设置**：
   - **样本量**：样本量是否足以检测预期效应量？
     - 使用公式：n = (Z²α/2 × 2 × p × (1-p)) / MDE²
     - 如果统计功效不足（< 80%），需标记
   - **时长**：测试是否至少运行了 1—2 个完整业务周期？
   - **随机化**：是否有样本比例失配（SRM）的迹象？
   - **新奇效应/首因效应**：时间是否足够让初期行为变化消退？

3. **计算统计显著性**：
   - 对照组和实验组各自的**转化率**
   - **相对提升**：(实验组 - 对照组) / 对照组 × 100
   - **p 值**：使用双尾 z 检验或卡方检验
   - **置信区间**：差值的 95% CI
   - **统计显著性**：p < 0.05 吗？
   - **实际显著性**：提升幅度对业务有意义吗？

   如果用户提供了原始数据，生成并运行 Python 脚本来计算上述结果。

4. **检查护栏指标**：
   - 是否有护栏指标（营收、参与度、页面加载时间）出现下降？
   - 主要指标获胜但护栏指标恶化，不一定是真正的胜利

5. **解读结果**：

   | 结果 | 建议 |
   |---|---|
   | 显著正向提升，无护栏问题 | **上线** — 全量推送 |
   | 显著正向提升，存在护栏顾虑 | **进一步调查** — 理解权衡后再上线 |
   | 不显著，但有正向趋势 | **延长测试** — 需要更多数据或更大效应 |
   | 不显著，基本持平 | **停止测试** — 未检测到有意义的差异 |
   | 显著负向提升 | **不上线** — 回退到对照组，分析原因 |

6. **提供分析摘要**：
   ```
   ## A/B 测试结果：[测试名称]

   **假设**：[我们的预期]
   **时长**：[X 天] | **样本量**：[N 对照组 / M 实验组]

   | 指标 | 对照组 | 实验组 | 提升 | p 值 | 是否显著？ |
   |---|---|---|---|---|---|
   | [主要指标] | X% | Y% | +Z% | 0.0X | 是/否 |
   | [护栏指标] | ... | ... | ... | ... | ... |

   **建议**：[上线 / 延长 / 停止 / 进一步调查]
   **理由**：[原因]
   **后续行动**：[下一步]
   ```

逐步思考。保存为 Markdown 格式。如果提供了原始数据，生成 Python 脚本执行计算。

---

### 延伸阅读

- [A/B Testing 101 + Examples](https://www.productcompass.pm/p/ab-testing-101-for-pms)
- [Testing Product Ideas: The Ultimate Validation Experiments Library](https://www.productcompass.pm/p/the-ultimate-experiments-library)
- [Are You Tracking the Right Metrics?](https://www.productcompass.pm/p/are-you-tracking-the-right-metrics)