Stress Test Flow

ストレステストフロー

目的: 実装完了後、複数の視点から品質を検証。 Token最適化: 検証エージェントはコードを生成せず、読み取り・報告のみ。

1. 概要

1.1 ストレステストとは

通常のレビューに加え、複数の専門エージェントが並列で実装を検証するプロセス。 各エージェントはコードを生成せず、問題の検出と報告のみを行う。

実装完了
   ↓
品質レビュー（9点以上）
   ↓
ストレステスト（並列）
├── security-tester: セキュリティ脆弱性チェック
├── performance-tester: パフォーマンス問題チェック
├── edge-case-tester: 境界条件・エッジケースチェック
└── integration-tester: 統合・互換性チェック
   ↓
統合レポート
   ↓
PR作成 or 修正

1.2 Token効率

効果: 1つのエージェントが全視点をカバーするより、専門テスターが並列実行する方が総Token消費が少ない。

2. ストレステスター定義

2.1 セキュリティテスター

SECURITY_TESTER_PROMPT = """
## ロール
セキュリティ専門の検証エージェント。コード生成禁止、問題検出のみ。

## チェック項目
1. SQLインジェクション脆弱性
2. XSS脆弱性
3. 認証・認可バイパス
4. 機密情報のハードコード
5. 安全でない暗号化
6. CSRF対策の欠如
7. パストラバーサル
8. コマンドインジェクション

## 出力形式（JSON）
{
  "severity": "critical|high|medium|low|none",
  "findings": [
    {
      "type": "脆弱性タイプ",
      "file": "ファイルパス",
      "line": 行番号,
      "description": "問題の説明",
      "recommendation": "推奨対策"
    }
  ],
  "overall_assessment": "概要評価"
}

## ⛔ 禁止事項
- コードの修正・生成
- 実装の提案（recommendationは抽象的に）
"""

2.2 パフォーマンステスター

PERFORMANCE_TESTER_PROMPT = """
## ロール
パフォーマンス専門の検証エージェント。コード生成禁止、問題検出のみ。

## チェック項目
1. N+1クエリ問題
2. 不要なループ・再帰
3. メモリリーク可能性
4. 非効率なアルゴリズム（O(n²)以上）
5. 不要な同期処理
6. キャッシュ未使用
7. 大量データの一括読み込み
8. 不要な再レンダリング（フロントエンド）

## 出力形式（JSON）
{
  "severity": "critical|high|medium|low|none",
  "findings": [
    {
      "type": "問題タイプ",
      "file": "ファイルパス",
      "line": 行番号,
      "description": "問題の説明",
      "impact": "想定される影響"
    }
  ],
  "overall_assessment": "概要評価"
}

## ⛔ 禁止事項
- コードの修正・生成
- 具体的な実装提案
"""

2.3 エッジケーステスター

EDGE_CASE_TESTER_PROMPT = """
## ロール
境界条件・エッジケース専門の検証エージェント。コード生成禁止、問題検出のみ。

## チェック項目
1. null/undefined/None の未処理
2. 空配列・空文字列の未処理
3. 最大値・最小値の境界
4. 負数の未処理
5. 非ASCII文字（絵文字、特殊文字）
6. タイムゾーン・日付境界
7. 並行アクセス競合
8. ネットワーク障害時の動作

## 出力形式（JSON）
{
  "severity": "critical|high|medium|low|none",
  "findings": [
    {
      "type": "エッジケースタイプ",
      "file": "ファイルパス",
      "line": 行番号,
      "description": "未処理のケース",
      "test_scenario": "テストシナリオ例"
    }
  ],
  "overall_assessment": "概要評価"
}

## ⛔ 禁止事項
- コードの修正・生成
- テストコードの生成
"""

2.4 統合テスター

INTEGRATION_TESTER_PROMPT = """
## ロール
統合・互換性専門の検証エージェント。コード生成禁止、問題検出のみ。

## チェック項目
1. API契約の違反
2. 型の不整合
3. 依存関係の循環
4. 破壊的変更
5. 後方互換性の欠如
6. 設計書との乖離
7. 既存コードとの整合性
8. 環境依存コード

## 出力形式（JSON）
{
  "severity": "critical|high|medium|low|none",
  "findings": [
    {
      "type": "問題タイプ",
      "file": "ファイルパス",
      "line": 行番号,
      "description": "問題の説明",
      "affected_components": ["影響を受けるコンポーネント"]
    }
  ],
  "overall_assessment": "概要評価"
}

## ⛔ 禁止事項
- コードの修正・生成
- 具体的な実装提案
"""

3. 実行フロー

3.1 ストレステスト呼び出し

def run_stress_tests(env_id: str, impl_files: list[str]) -> StressTestResult:
    """ストレステストを並列実行"""
    
    # 実装ファイルの内容を取得
    file_contents = {}
    for file_path in impl_files:
        content = container_use_environment_file_read(
            environment_id=env_id,
            target_file=file_path,
            should_read_entire_file=True
        )
        file_contents[file_path] = content
    
    # 並列でストレステスト実行
    results = []
    
    # 並列タスク起動
    tasks = [
        background_task(
            agent="oracle",  # 汎用分析エージェント
            description="Security stress test",
            prompt=f"{SECURITY_TESTER_PROMPT}\n\n## 対象ファイル\n{json.dumps(file_contents)}"
        ),
        background_task(
            agent="oracle",
            description="Performance stress test",
            prompt=f"{PERFORMANCE_TESTER_PROMPT}\n\n## 対象ファイル\n{json.dumps(file_contents)}"
        ),
        background_task(
            agent="oracle",
            description="Edge case stress test",
            prompt=f"{EDGE_CASE_TESTER_PROMPT}\n\n## 対象ファイル\n{json.dumps(file_contents)}"
        ),
        background_task(
            agent="oracle",
            description="Integration stress test",
            prompt=f"{INTEGRATION_TESTER_PROMPT}\n\n## 対象ファイル\n{json.dumps(file_contents)}"
        ),
    ]
    
    # 結果収集
    for task_id in tasks:
        result = background_output(task_id=task_id, block=True)
        results.append(json.loads(result))
    
    return aggregate_results(results)

3.2 結果集約

def aggregate_results(results: list[dict]) -> StressTestResult:
    """ストレステスト結果を集約"""
    
    all_findings = []
    max_severity = "none"
    severity_order = ["none", "low", "medium", "high", "critical"]
    
    for result in results:
        all_findings.extend(result.get("findings", []))
        if severity_order.index(result["severity"]) > severity_order.index(max_severity):
            max_severity = result["severity"]
    
    return StressTestResult(
        passed=max_severity in ["none", "low"],
        max_severity=max_severity,
        total_findings=len(all_findings),
        findings=all_findings,
        summary=generate_summary(all_findings)
    )

4. 判定基準

5. ストレステストレポート

## 🔬 ストレステストレポート

### サマリ
- **総合判定**: ✅ PASSED / ❌ FAILED
- **最大重大度**: {max_severity}
- **検出件数**: {total_findings}件

### カテゴリ別結果

| カテゴリ | 重大度 | 検出件数 |
|---------|--------|---------|
| セキュリティ | {severity} | {count}件 |
| パフォーマンス | {severity} | {count}件 |
| エッジケース | {severity} | {count}件 |
| 統合 | {severity} | {count}件 |

### 検出事項（重大度順）

{findings_list}

### 推奨アクション

{recommendations}

6. 使用タイミング

7. Token効率の比較

効果: 専門テスターは「読み取り・報告のみ」のためToken効率が高い。

変更履歴