majiayu000 実験トラッキングとグロースハック
概要
A/Bテスト、実験管理、フィーチャーフラグ、グロースハックを包括的に支援するスキルです。
実行フロー
Step 1: 実験設計とセットアップ
仮説の明確化
We believe [変更内容]
will cause [期待される影響]
because [根拠・理由]
成功指標の設定
- Primary Metrics: 直接的な成功指標
- Secondary Metrics: 補強となる指標
- Guardrail Metrics: 負の影響を防ぐ指標
サンプルサイズ計算
- 最低: バリアントごとに1000ユーザー
- 信頼水準: 95%
- 検出力: 80%
Step 2: データ収集とモニタリング
Four Golden Signals
- Latency: 応答速度への影響
- Traffic: トラフィック分散
- Errors: エラー率
- Saturation: リソース使用率
異常検知
- エラー率20%以上上昇 → 即時停止
- 重大な劣化 → エスカレーション
Step 3: 統計分析とインサイト
統計的有意性
- t検定（連続値指標）
- カイ二乗検定（割合指標）
- p値 < 0.05 で有意
セグメント分析
- 新規/既存ユーザー別
- デバイス別
- 有料/無料ユーザー別
Step 4: AARRRファネル
Acquisition → Activation → Retention → Referral → Revenue
各ステージの最適化
- Acquisition: チャネル別CAC
- Activation: オンボーディング完了率
- Retention: D1/D7/D30リテンション
- Referral: K-factor
- Revenue: LTV向上施策
ICEスコアリング
ICE Score = (Impact × Confidence) / Ease
Step 5: 意思決定
| 状況 | 判断 | アクション |
|---|---|---|
| p < 0.05 かつ有意性あり | Ship | 全ユーザー展開 |
| 20%以上悪化 | Kill | 即時停止 |
| 横ばいだがフィードバック良 | Iterate | 改善して再実験 |
| プラスだが有意でない | Extend | テスト期間延長 |
Step 6: バイラルメカニクス
K-factor
K = i × c
K > 1: 指数的成長
共有を促す設計
- 驚き/発見
- 共感
- 自己表現
- 有用性
出力成果物
- 実験設計書: 仮説、成功指標、実装計画
- トラッキング仕様: イベント定義
- 分析レポート: 統計結果とインサイト
- 意思決定記録: Ship/Kill/Iterate
- グロースダッシュボード: AARRRファネル
ベストプラクティス
- 統計的厳密性: サンプルサイズ確保
- 早期に結果を覗かない: バイアス防止
- 学びを蓄積: すべての実験を記録
- 倫理的に実験: ユーザーを騙さない
- 組織に共有: データドリブン文化
関連ファイル
- TEMPLATES.md - 実験ドキュメントテンプレート
- STATISTICS.md - 統計分析リファレンス