Review Research

Review Research

研究成果の構造化ピアレビューを実施し、手法、統計的選択、再現可能性、科学的厳密さを評価する。

使用タイミング

• 論文、プレプリント、内部研究レポートのレビュー
• 研究提案や研究プロトコルの評価
• 主張や推奨事項の根拠となる証拠の質の評価
• データ収集前に同僚の研究デザインへフィードバックを提供する場合
• 論文の章や博士論文の節をレビューする場合

入力

• 必須: 研究文書（論文、レポート、提案書、またはプロトコル）
• 必須: 分野・学問領域のコンテキスト（手法標準に影響する）
• 任意: ジャーナルや会議のガイドライン（出版向けレビューの場合）
• 任意: 補足資料（データ、コード、付録）
• 任意: 過去のレビューコメント（改訂版をレビューする場合）

手順

ステップ1: 第一読み — 範囲と構造

文書全体を一度読み、以下を把握する：

1. 研究課題: 明確かつ具体的に述べられているか？
2. 貢献の主張: 何が新規または斬新か？
3. 全体構造: 期待されるフォーマット（IMRaDまたは会議固有の形式）に従っているか？
4. 範囲の適合性: 対象の読者・会議に適切な内容か？

## First Pass Assessment
- **Research question**: [Clear / Vague / Missing]
- **Novelty claim**: [Stated and supported / Overstated / Unclear]
- **Structure**: [Complete / Missing sections: ___]
- **Scope fit**: [Appropriate / Marginal / Not appropriate]
- **Recommendation after first pass**: [Continue review / Major concerns to flag early]

期待結果： 論文の主張と貢献について明確に理解できている。 失敗時： 全文を読んでも研究課題が不明確な場合は、これを重大な懸念点として記録し、レビューを続行する。

ステップ2: 手法の評価

研究デザインをその分野の標準に照らして評価する：

量的研究

• 研究課題に適した研究デザイン（実験的、準実験的、観察的、調査）
• サンプルサイズの根拠（検出力分析または実践的な根拠）
• サンプリング方法の説明と適切さ（無作為、層別、便宜的）
• 変数の明確な定義（独立変数、従属変数、制御変数、交絡変数）
• 測定機器の妥当性と信頼性の報告
• 記述から再現可能なデータ収集手順
• 倫理的考慮事項への対処（IRB/倫理審査委員会の承認、同意）

質的研究

• 明示的な方法論（グラウンデッドセオリー、現象学、ケーススタディ、民族誌）
• 参加者の選定基準と飽和について議論されているか
• データ収集方法の説明（インタビュー、観察、文書）
• 研究者のポジショナリティが認識されているか
• 信頼性確保の戦略が報告されているか（トライアンギュレーション、メンバーチェッキング、監査証跡）
• 倫理的考慮事項への対処

混合研究法

• 混合デザインの根拠が説明されているか
• 統合戦略の説明（収束型、説明的逐次型、探索的逐次型）
• 量的・質的コンポーネントの両方がそれぞれの標準を満たしているか

期待結果： 各項目に対する具体的な所見を添えて手法チェックリストが完成している。 失敗時： 重要な手法情報が欠落している場合は、推測せず重大な懸念点として記録する。

ステップ3: 統計的・分析的選択の評価

• データの種類と研究課題に適した統計手法
• 統計検定の前提条件の確認と報告（正規性、等分散性、独立性）
• p値と並んで効果量が報告されているか
• 適切な箇所に信頼区間が提供されているか
• 必要な場合に多重比較の補正が適用されているか（Bonferroni、FDRなど）
• 欠損データの処理方法の説明と適切さ
• 主要な前提に対する感度分析が実施されているか
• 分析と一致した結果の解釈（所見の誇大解釈がないか）

統計的な危険信号：

• p値ハッキングの指標（多数の比較、選択的報告、「境界的有意」）
• 不適切な検定（正規性のないデータへのt検定の無理な適用、順序データへのパラメトリック検定）
• 統計的有意性と実際的有意性の混同
• 効果量の報告なし
• 事後仮説を事前仮説として提示

期待結果： 具体的な懸念点を文書化して統計的選択が評価されている。 失敗時： 特定の手法に専門知識がない場合はその旨を認め、専門家レビュアーを推奨する。

ステップ4: 再現可能性の評価

• データの利用可能性の記述（オープンデータ、リポジトリリンク、要請により利用可能）
• 分析コードの利用可能性の記述
• ソフトウェアのバージョンと実行環境の文書化
• 乱数シードまたは再現性メカニズムの説明
• 主要なパラメータとハイパーパラメータの報告
• 計算環境の説明（ハードウェア、OS、依存関係）

再現可能性のティア：

期待結果： 根拠を添えて再現可能性ティアが割り当てられている。 失敗時： データを共有できない場合（プライバシー、独自情報）、合成データまたは詳細な疑似コードが許容可能な代替手段となる。それが提供されているか記録する。

ステップ5: 潜在的なバイアスの特定

• 選択バイアス: 参加者はターゲット集団を代表しているか？
• 測定バイアス: 測定プロセスが結果を系統的に歪めた可能性はあるか？
• 報告バイアス: 非有意のものを含むすべてのアウトカムが報告されているか？
• 確証バイアス: 著者は仮説を支持する証拠のみを探したか？
• 生存者バイアス: 脱落者、除外データ、失敗した実験は考慮されているか？
• 資金バイアス: 資金源が開示されており、所見に影響する可能性はあるか？
• 出版バイアス: これは全体像か、それとも否定的結果が欠けている可能性はあるか？

期待結果： 論文からの具体例を挙げて潜在的バイアスが特定されている。 失敗時： 利用可能な情報からバイアスを評価できない場合は、著者がこれを明示的に対処することを推奨する。

ステップ6: レビューの執筆

建設的な構造でレビューを執筆する：

## Summary
[2-3 sentences summarizing the paper's contribution and your overall assessment]

## Major Concerns
[Issues that must be addressed before the work can be considered sound]

1. **[Concern title]**: [Specific description with reference to section/page/figure]
   - *Suggestion*: [How the authors might address this]

2. ...

## Minor Concerns
[Issues that improve quality but are not fundamental]

1. **[Concern title]**: [Specific description]
   - *Suggestion*: [Recommended change]

## Questions for the Authors
[Clarifications needed to complete the evaluation]

1. ...

## Positive Observations
[Specific strengths worth acknowledging]

1. ...

## Recommendation
[Accept / Minor revision / Major revision / Reject]
[Brief rationale for the recommendation]

期待結果： レビューが具体的、建設的であり、論文内の正確な箇所を参照している。 失敗時： レビューが長くなりすぎる場合は、重大な懸念点を優先し、軽微な問題はサマリーリストに記載する。

バリデーション

• すべての重大な懸念点が特定のセクション、図、または主張を参照している
• フィードバックが建設的である — 問題には提案が添えられている
• 懸念点と並んで良い点が認められている
• 統計的評価が使用された分析手法と一致している
• 再現可能性が明示的に評価されている
• 推奨事項が提起した懸念点の重大度と一致している
• トーンが専門的、敬意を持った、同僚的なものである

よくある落とし穴

• 曖昧な批判: 「手法が弱い」は役に立たない。何が弱く、なぜ弱いのかを具体的に述べること。
• 別の研究を要求する: 実施された研究をレビューすること。自分がやりたかった研究ではなく。
• 範囲の無視: 会議論文はジャーナル論文と異なる期待水準を持つ。
• 人身攻撃: 研究をレビューするのであり、著者をレビューするのではない。著者のアイデンティティに言及しないこと。
• 完璧主義: 完璧な研究は存在しない。結論を変える懸念点に集中すること。

関連スキル

• review-data-analysis — データ品質とモデル検証に深く焦点を当てたレビュー
• format-apa-report — 研究レポートのAPA書式標準
• generate-statistical-tables — 出版対応の統計テーブル
• validate-statistical-output — 統計出力の検証