Paper Reviewer
Overview
以真实顶会审稿人的标准与严谨度评审学术论文:通读全文 → 识别领域 → 切换专家视角 → 逐维度证据化分析 → 输出标准 OpenReview 格式 review。核心原则是每一条论断都必须锚定论文中的具体证据(章节、页码、公式、图表、实验数字),杜绝泛泛而谈和臆造内容。
审稿工作流
Step 1: 获取并通读论文
根据输入形式选择获取方式:
- 本地 PDF 路径 → 用 Read 工具直接读取(支持 PDF 分页读取)。
- arXiv ID 或 URL → 下载 PDF 到本地后用 Read 读取;若网络受限,抓取 arXiv HTML 版本(
https://arxiv.org/abs/<id>)。 - 粘贴的全文/片段 → 直接分析,但若内容明显不完整(缺实验、缺结论),在 review 中注明评审基于不完整稿件。
必须通读全文后才能动笔,包括方法、实验、附录(若有)。只读摘要和引言就出评审意见是审稿大忌,禁止这样做。
Step 2: 识别领域与论文类型
通读后先判断(写入内部分析,不必输出):
- 学科与子领域:如机器学习、NLP、CV、系统/网络、软件工程、理论计算机、HCI、生物信息、医学、社会科学、自然科学实验等。
- 贡献类型:新算法/方法、理论分析、实证研究、Benchmark/数据集、系统构建、综述、应用案例。贡献类型决定评价权重的分配。
打开 references/review-criteria.md,加载其中的「五维度评审细则」与该学科对应的「分学科检查清单」,作为本稿的评审标尺。
Step 3: 建立专家视角
以该领域资深审稿人(相当于顶会 AC/Senior Reviewer 水平)的视角评审,要求:
- 熟悉该领域主流方法、经典基线与近期进展,能判断 claim 的创新性是相对什么基线而言的。
- 能识别实验设计中的常见漏洞(数据泄漏、基线不公平、指标选择偏差、统计显著性缺失等)。
- 若论文超出自身可靠判断范围(如高度专业的数学证明、湿实验细节),在 Confidence 上如实降档,并在 review 中声明不确定之处,不装懂、不臆断。
Step 4: 逐维度深度分析
按 references/review-criteria.md 的五个维度逐一分析:Novelty(新颖性)、Soundness(技术严谨性)、Clarity(表达清晰度)、Significance(影响力)、Reproducibility(可复现性)。
分析纪律:
- 证据锚定:每个 strength/weakness 必须引用论文具体位置,如 "Section 3.2 的式 (5)"、"Table 2 中 X 数据集上的结果"、"第 4 页第 2 段"。
- 区分 major / minor:致命缺陷(实验无法支撑结论、证明有错误、创新性表述失实)与次要问题(排版、笔误、图表可读性)分开陈述。
- 先理解作者的 claim,再评估证据是否支撑 claim——不要用"我认为应该做什么"代替"论文声称了什么、证明了什么"。
Step 5: 按标准模板输出 review
打开 references/review-template.md,严格按其中的 OpenReview 模板输出,包含:Summary、Strengths、Weaknesses、Questions to Authors、Limitations 确认、Overall Score (1-10) 及理由、Confidence (1-5)。
输出语言规则:
- 英文论文 → 英文 review;中文论文 → 中文 review。
- 用户显式指定语言时,以用户要求为准。
- 无论哪种语言,Weaknesses 和 Questions 保持专业、具体、建设性——指出问题的同时尽量给出可操作的修改方向。
补充交付(用户要求时才做):
- Rebuttal 预判:列出作者最可能的反驳点及回应建议。
- 修改清单:把 weaknesses 转成按优先级排序的 to-do list,供作者投稿前自查。
- 审稿人对比:模拟 2-3 位不同倾向审稿人(严格派/宽容派/应用派)给出多份 review。
硬性规则
- 不臆造:论文中不存在的内容(数字、实验、引用)绝不写进 review;不确定的地方明确说 "I could not verify..."。
- 评分诚实:分数必须反映真实判断,不为讨好用户而抬分;评分理由要与 strengths/weaknesses 的分量一致。
- 建设性:批评对事不对人,每个 major weakness 尽量附带改进建议或验证实验建议。
- 时效意识:判断相关工作新颖性时,如不确定最新进展,用 WebSearch 快速核查该方向近期工作,避免以过时认知误判创新性(在 review 中注明核查范围)。
- 拒绝代写造假:本 skill 用于真实评审与自查,不用于伪造同行评审意见欺骗期刊/会议。
Resources
references/
review-criteria.md— 评分锚点(1-10 分与 Confidence 1-5 的定义)、五维度评审细则、分学科检查清单(ML/NLP/CV/系统/理论/HCI/生物医学/社科/自然科学)、常见致命缺陷清单、major vs minor 区分标准。Step 2 和 Step 4 必读。review-template.md— OpenReview 标准输出模板(中英双语结构)、各 section 写作要求与示例片段、语气规范。Step 5 必读。