# Ab Test Analysis

> 통계적 유의성, 샘플 크기 검증, 신뢰 구간, 출시/연장/중단 권고를 포함한 A/B 테스트 결과 분석. 실험 결과를 평가하거나, 테스트가 유의성에 도달했는지 확인하거나, 분할 테스트 데이터를 해석하거나, 변형 출시 여부를 결정할 때 활용하세요.

- Skill: `weakened-fixedinvestmenttrust229/ab-test-analysis` (Agent Skill)
- Install (CLI): `npx skillmds@latest add weakened-fixedinvestmenttrust229/ab-test-analysis`
- Raw SKILL.md: https://api.skillmd.com/api/skills/weakened-fixedinvestmenttrust229/ab-test-analysis/raw
- Safety review: pending
- Works with: Claude Code, Claude.ai, OpenAI Codex
- Category: Data & Analytics
- Author: weakened-fixedinvestmenttrust229 (https://skillmd.com/u/weakened-fixedinvestmenttrust229)
- Updated: 2026-09-17
- Page: https://skillmd.com/skills/weakened-fixedinvestmenttrust229/ab-test-analysis

---


## A/B 테스트 분석

통계적 엄밀성으로 A/B 테스트 결과를 평가하고 명확한 제품 결정으로 전환합니다.

### 맥락

**$ARGUMENTS**에 대한 A/B 테스트 결과를 분석합니다.

사용자가 데이터 파일(CSV, Excel, 또는 분석 내보내기)을 제공하는 경우 직접 읽고 분석합니다. 필요한 경우 통계 계산을 위한 Python 스크립트를 생성합니다.

### 지시문

1. **실험 이해**:
   - 가설이 무엇이었나요?
   - 무엇이 변경되었나요 (변형)?
   - 주요 지표는 무엇인가요? 가드레일 지표는 있나요?
   - 테스트가 얼마나 오래 실행되었나요?
   - 트래픽 분할은 어떻게 되었나요?

2. **테스트 설계 검증**:
   - **샘플 크기**: 예상 효과 크기에 충분한 샘플인가요?
     - 공식 사용: n = (Z²α/2 × 2 × p × (1-p)) / MDE²
     - 검정력이 80% 미만인 경우 표시
   - **기간**: 최소 1~2 전체 비즈니스 사이클 동안 실행되었나요?
   - **무작위화**: 샘플 비율 불일치(SRM) 증거가 있나요?
   - **신기/선행 효과**: 초기 행동 변화가 사라질 충분한 시간이 있었나요?

3. **통계적 유의성 계산**:
   - control 및 variant의 **전환율**
   - **상대적 향상**: (variant - control) / control × 100
   - **p값**: 양측 z검정 또는 카이제곱 검정 사용
   - **신뢰 구간**: 차이에 대한 95% CI
   - **통계적 유의성**: p < 0.05인가요?
   - **실용적 유의성**: 향상이 비즈니스에 의미 있는가요?

   사용자가 원시 데이터를 제공하는 경우, 이를 계산하기 위한 Python 스크립트를 생성하고 실행합니다.

4. **가드레일 지표 확인**:
   - 가드레일 지표 (매출, 참여, 페이지 로드 시간)가 악화되었나요?
   - 가드레일이 악화된 상태에서 주요 지표가 이기는 것은 진정한 승리가 아닐 수 있음

5. **결과 해석**:

   | 결과 | 권고 |
   |---|---|
   | 유의한 긍정적 향상, 가드레일 문제 없음 | **출시** — 100%로 배포 |
   | 유의한 긍정적 향상, 가드레일 우려 | **조사** — 출시 전 트레이드오프 이해 |
   | 유의하지 않음, 긍정적 트렌드 | **테스트 연장** — 더 많은 데이터 또는 더 큰 효과 필요 |
   | 유의하지 않음, 평탄 | **테스트 중단** — 의미 있는 차이 감지되지 않음 |
   | 유의한 부정적 향상 | **출시하지 않음** — control로 되돌리고 이유 분석 |

6. **분석 요약 제공**:
   ```
   ## A/B 테스트 결과: [테스트 이름]

   **가설**: [예상한 것]
   **기간**: [X일] | **샘플**: [N control / M variant]

   | 지표 | Control | Variant | 향상 | p값 | 유의성? |
   |---|---|---|---|---|---|
   | [주요] | X% | Y% | +Z% | 0.0X | 예/아니오 |
   | [가드레일] | ... | ... | ... | ... | ... |

   **권고**: [출시 / 연장 / 중단 / 조사]
   **근거**: [이유]
   **다음 단계**: [해야 할 일]
   ```

단계별로 사고합니다. 마크다운으로 저장합니다. 원시 데이터가 제공된 경우 계산을 위한 Python 스크립트를 생성합니다.

---

### 더 읽어보기

- [A/B Testing 101 + Examples](https://www.productcompass.pm/p/ab-testing-101-for-pms)
- [Testing Product Ideas: The Ultimate Validation Experiments Library](https://www.productcompass.pm/p/the-ultimate-experiments-library)
- [Are You Tracking the Right Metrics?](https://www.productcompass.pm/p/are-you-tracking-the-right-metrics)