findscripter 何时使用
- 在 ML / NLP / CV 等领域，需要把一个模糊的研究想法变成严谨、公平、可复现的实验计划时。
- 用户问「我应该跑哪些实验」「怎么设计 ablation」「该选哪些 baseline」「用什么评估指标」「怎么验证我的方法有效」。
- 撰写论文/技术报告前的实验规划阶段，或审视已有实验是否覆盖充分。
不该用边界：实验计划已定、只需写训练代码或跑实验；纯数据统计分析；论文写作/润色；非实证类研究（理论证明、综述）。这些场景请转用专门技能或直接执行。
好实验设计的四条底线：可证伪（结果能支持或否定假设）、公平（同条件比较）、可复现（他人能完整重现）、充分（覆盖足够面向支撑结论）。
步骤
严格遵循六步推导链，每步产出是下一步输入：
假设 → 变量 → 指标 → Baseline → Ablation → 算力预算
1. 假设明确化
将研究动机转成可测量、可证伪的具体假设，并拆解子假设。
- 反例：「我们的方法更好」
- 正例：「在 SQuAD 2.0 上，加入跨注意力后 F1 相较纯自注意力基线提升至少 2 个百分点」
- 质量标准：具体性、可测量性、可证伪性、相关性。
2. 变量定义
- 自变量（主动操控）：模型架构变体、训练策略、数据处理方式。
- 因变量（被测量）：性能（Accuracy/F1/BLEU）、效率（推理时延/显存）、质量（人工评分）。
- 控制变量（保持不变）：随机种子、数据集与切分、非研究对象的超参、硬件、预训练模型版本。
- 三原则：单一变量（每次只改一个自变量）、完整记录、取值范围有理论依据。
3. 评估指标选择
- 优先领域公认标准指标；同时报性能、效率、稳健性多面向。
- 报多种子的均值±标准差；必要时做显著性检验并标注 p 水平。
- 常见指标：分类 Accuracy/Precision/Recall/F1/AUC-ROC；生成 BLEU/ROUGE/METEOR/BERTScore/人工评估；检索 MAP/MRR/NDCG/Recall@K；效率 FLOPs/参数量/时延/显存；稳健性 跨数据集表现/对抗准确率。
4. Baseline 选择
必须覆盖三类：经典方法 + 当前 SOTA + 简单基线（随机/多数类/TF-IDF）。
- 公平比较：同切分、同评估协议、尽量用原作者代码与超参；复现时须验证与原论文一致。
- 常见错误：只比弱基线、不用最新 SOTA、基线超参未调、比较条件不一致。
5. Ablation Study（四模式）
- 组件消融：每次只移除/替换一个组件，量化各组件贡献。
- 超参敏感度：选 2-4 个关键超参，合理范围内扫描，绘超参-性能曲线。
- 跨数据集迁移：在不同规模/领域数据集上测泛化，分析最佳/最差条件。
- 定性分析：注意力可视化、成功/失败案例、t-SNE 特征空间、错误类型统计。
6. 算力预算
估单次成本（GPU 时数/显存/存储），再算总量：
总 GPU 时数 = 单次时数 × 模型变体数 × 数据集数 × 随机种子数 × 超参组合数
预留 1.5-2 倍安全系数（含调试/预实验/追加）。优化：小数据集预实验、early stopping、混合精度、合理排优先级。
指令
- 引导用户依次完成六步，每步产出作为下一步输入，禁止跳步。
- 强制可复现信息齐全：硬件（GPU 型号/数量）、软件（语言/框架/关键包版本）、随机性（种子列表/确定性算法）、训练协议（完整超参/优化器/学习率调度/数据增强/早停准则）、数据（版本/来源/预处理/切分）、评估协议（指标精确定义/评估频率/选模准则）。
- 最终交付一份结构化实验计划文档，含 7 章：① 假设与子假设 ② 变量定义表 ③ 评估指标与统计方法 ④ Baseline 列表与设定 ⑤ Ablation 设计矩阵 ⑥ 算力预估与时程 ⑦ 可复现性信息。
- 交付前过一遍质量检查清单（见下）。
示例
输入：研究主题/论文草稿 + 方法描述 + 可用算力。
输出片段（节选实验计划）：
- 假设 H1：在 SQuAD 2.0 上跨注意力使 F1 ≥ +2pt（5 种子均值，paired t-test，p<0.05）。
- 自变量：注意力机制 ∈ {纯自注意力, 自+跨注意力}；控制变量：种子 {1,2,3,4,5}、bert-base-uncased、相同切分与超参。
- 指标：EM、F1（主）；推理时延、显存（次）。
- Baseline：BiDAF（经典）、当前榜首模型（SOTA）、多数类（简单）。
- Ablation：移除跨注意力（组件）；扫描注意力头数 {4,8,12}（超参）；NewsQA 上测迁移（跨集）；注意力热图（定性）。
- 算力：单次 6 GPU·h × 2 变体 × 1 集 × 5 种子 = 60 GPU·h，×1.5 = 90 GPU·h。
质量检查清单：
- 每个假设都有对应实验验证
- 自变量取值范围已明确
- 控制变量完整列出
- 指标覆盖多面向
- Baseline 含经典/SOTA/简单基线
- Ablation 覆盖所有提出的组件
- 算力预估含安全系数
- 可复现信息完整
- 统计检验方法已确定
注意事项
- 单一变量是底线：一次改多个自变量会让结论无法归因。
- 只与弱基线比较是最常见的致命错误，务必纳入最新 SOTA 并调好其超参。
- 报均值不报方差等于没报；多种子 + 标准差 + 显著性检验缺一不可。
- 算力预算务必乘安全系数，预实验几乎总会发现需要追加的实验。
- 可复现性是审稿硬指标，硬件/软件/种子/协议任一缺失都会被质疑。
互见
first-principles-thinking：在假设明确化阶段，用第一性原理拆解研究问题与核心假设。fact-checking：核对 baseline 数值、SOTA 声明与引用是否与原论文一致。
本条采编自 voidful/academic-skills（MIT）。