Ara Rigor Reviewer

ARA Rigor Reviewer · 论文质量审查器

仅论文研究场景触发。 常态化业务对话不加载此技能。

何时触发

不触发：常规文档审查、飞书文档校对（走 editorial-review 技能）。

核心定位

ARA Seal Level 2 — 语义认识论审查。假设 Level 1（结构完整性）已通过。

不是 bug 检测器，是认识论审稿人：帮作者发现"声称了 A 但证据只验证了 B"、"声明不可证伪"、"消融实验缺少关键变量"等问题。

六维审查框架

D1 · 证据相关性（承重维度）

核心问题：每条 Claim 引用的实验是否实质性地验证了其断言？

对每对 claim-experiment 绑定检查：

1. 相关性：实验的 Setup/Procedure/Metrics 是否真正针对声明内容？（不是"链接存在就行"，而是"链接实质相关"）

2. 类型匹配：从声明措辞推断声明类型，检查实验设计是否匹配：

   声明类型	信号词	所需实验设计
   因果	"导致"、"使"、"enable"	需要隔离消融实验
   泛化	"泛化"、"鲁棒"、"跨"	需要异质测试条件
   改进	"优于"、"提升"、"outperform"	需要基线对比
   描述	"占"、"分布"、"pattern"	需要代表性采样
   范围	"当…时"、"限于"、条件句	需要声明边界

3. 证据充分性：单次实验是否足够支撑此声明？声明的范围是否要求多项独立实验？

评分锚点：

• 5：所有 claim-experiment 链接实质相关 + 类型匹配 + 证据充分
• 3：多数链接存在，但 1-2 个实验与声称的声明类型不匹配
• 1：多数链接不相关或仅名义上链接

D2 · 可证伪性质量（承重维度）

核心问题：每条声明的证伪标准是否可操作？

对每条 Claim 的 Falsification 字段：

1. 可操作性：证伪标准是否给出了具体阈值/条件？"效果更好"不是可证伪标准；"在数据集 X 上用指标 Y 的 p<0.05 假设检验，实验组超过对照组"是可证伪标准。
2. 非循环：证伪标准是否只是声明的复述？"如果 BERT 不是最好的那就错了"是循环定义。
3. 范围匹配：证伪标准的难度是否与声明的强度匹配？声称"always works"只需一个反例证伪；声称"在多数情况下优于"需要统计检验。

评分锚点：

• 5：所有声明有可操作、非循环、范围匹配的证伪标准
• 3：多数声明有证伪标准，但有 1-2 条不具体或循环
• 1：多数声明无证伪标准或不可操作

D3 · 范围校准（辅助维度）

核心问题：声明是否精确断言了其证据所支持的范围，不多也不少？

• 过度声称：证据只在 ImageNet 上测试，声明却说"在所有视觉任务上 SOTA"
• 不足声称：证据支持更强的结论，却用了过弱的措辞（同样损害论文贡献的可感知性）
• 缺失条件：声明中未提及证据实际依赖的关键前提（"只在 16 卡以上有效"写在实验部分但没写在声明中）

D4 · 论证连贯性（辅助维度）

核心问题：论文的叙事弧线是否从问题→方案→证据逻辑完整？

• 动机链：Observation → Gap → Insight 是否有清晰的逻辑链条？
• 声明依赖：声明的依赖关系是否有循环依赖或缺失前提？
• 实验叙事：实验的顺序是否对应科学发现的自然推进（基线→消融→分析），还是随机排列？
• related_work 的论证作用：相关信息是否被用来说明"为什么我们是不同的/更好的"，而非仅仅罗列？

D5 · 探索完整性（辅助维度）

核心问题：探索树是否记录了真实的研究过程，包括失败？

• dead_end 存在性：零 dead_end 节点 → 审查标记（真实研究不会没有死胡同）
• dead_end 质量：每个 dead_end 是否包含：假设 + 失败模式 + 教训？（只有标题的空 dead_end 不算）
• pivot 合理性：转向节点的触发器是否与 trace 中的 evidence 节点一致？
• decision 证据：决策节点是否引用了支持选择的 evidence？

D6 · 方法论严谨性（承重维度）

核心问题：实验设计是否充分严谨？

审查流程

Step 1：读取 ARA 制品

按固定顺序读取文件：

1. PAPER.md → 层索引
2. logic/claims.md → 提取所有 Claim（Statement, Status, Falsification, Proof, Dependencies）
3. logic/experiments.md → 提取所有 Experiment（Verifies, Setup, Metrics, Baselines）
4. logic/problem.md → 提取 Gap + Insight
5. logic/solution/ → system design, algorithm, heuristics, constraints
6. logic/related_work.md → 依赖图
7. trace/exploration_tree.yaml → 五类节点
8. src/environment.md → 可复现性信息
9. 抽查 evidence/tables/ 中 2-3 个文件

Step 2：构建工作映射

• claim_proof_map：每条 claim → 引用的实验 ID 集合
• experiment_verifies_map：每个实验 → 验证的 claim ID 集合
• claim_dependency_edges：claim 之间的有向依赖边
• gap_set：problem.md 中的所有 Gap
• dead_end_nodes + pivot_nodes：探索树中的失败和转向节点
• decision_nodes：探索树中的决策节点

Step 3：逐维度评分

对每个维度，执行语义推理，记录：strengths / weaknesses / suggestions。

Step 4：产出审查报告

写入 ara/level2_report.md：

# ARA Seal Level 2 · Epistemic Review Report

## Overall: {Strong Accept / Accept / Weak Accept / Revise / Reject}
### Score: {D1+D2+D3+D4+D5+D6}/30

## Per-Dimension

### D1 · Evidence Relevance: {score}/5
- Strengths: ...
- Weaknesses: ...
- Suggestions: ...

[... D2-D6 同上 ...]

## Severity-Ranked Findings

### 🔴 Critical (Must Fix)
1. [D1] Claim C03 (因果) 引用的实验 E02 是纯描述性统计 → 类型不匹配
2. ...

### 🟡 Major (Should Fix)
3. [D2] Claim C05 缺可操作的证伪标准
4. ...

### 🟢 Minor (Nice to Fix)
5. [D5] 探索树零 dead_end 节点（真实研究不会这样）
6. ...

## Verdict
{一句话结论 + 主要修改方向}

使用示例

用户："审查论文 ara/attention/"

Hermes 加载 ara-rigor-reviewer：
→ Step 1-2：读取 ARA，提取 5 Claims、2 Experiments、构建 8 条映射
→ Step 3：
    D1 证据相关性：3/5 — C03 的 claimed 因果但实验 E02 只做了相关性
    D2 可证伪性：4/5 — C05 缺具体阈值
    D3 范围校准：2/5 — C01 声称"all tasks"但只测了 3 个 benchmark
    D4 论证连贯性：4/5
    D5 探索完整性：2/5 — 零 dead_end 节点
    D6 方法论严谨性：3/5 — 消融缺关键变量、未报告方差
→ 总分：18/30 → Weak Accept

输出：ara/level2_report.md 已生成
      🔴 2 Critical · 🟡 3 Major · 🟢 2 Minor

工具适配

技术说明

• 上游：Orchestra-Research/Agent-Native-Research-Artifact (MIT)
• 本技能为上游 rigor-reviewer 的 Hermes 适配版
• 仅在论文研究场景触发
• 审查是语义推理（需要阅读理解），不是结构性检查（Level 1 已由 compiler 完成）
• 不执行代码、不访问外部 URL、不获取外部数据