brycewang-stanford 《计算机学报》实验设计与呈现
《计算机学报》(Chinese Journal of Computers, CJC) 要求来稿"数据充分、真实"，外审专家会实质性追问
实验是否足以支撑结论。作为 CCF A 类综合性中文长文期刊，CJC 给了充分篇幅展开实验，但也因此对
证据与主张的匹配度要求更高。本技能给出面向 CJC 的实验设计与呈现方法。核验日期 2026-07-09，
与 cjc-reproducibility 配套使用。
一、先立评估问题，再做实验
好的实验部分从**评估问题(RQ)**开始，而非直接堆表格。为每个贡献点设一个可回答的问题，例如：
- RQ1：所提方法在 <任务> 上是否优于 <代表性基线>？优多少？
- RQ2：各模块对性能的贡献如何（消融）？
- RQ3：方法在 <规模/噪声/分布变化> 下是否稳健？
- RQ4：开销（时间/内存/通信）是否可接受？
每个 RQ 后面对应一组实验与一张主表/主图，形成"问题—证据"闭环。
二、按贡献类型匹配证据
| 贡献类型 | 关键证据 | 常见陷阱 |
|---|---|---|
| 算法/方法 | 与强基线的公平对比 + 消融 + 复杂度 | 只比弱基线、无消融 |
| 系统/体系结构 | 真实负载下的吞吐/延迟/资源，端到端 | 只报微基准、无真实工作负载 |
| 理论 | 严格证明 + 必要的数值验证 | 只有定理无验证或反之 |
| 实证研究 | 足量真实样本 + 可靠标注 + 统计分析 | 样本小、标注无信度 |
| 学习类 | 公平划分 + 多次运行 + 污染排查 | 测试集调参、单次最优、数据泄漏 |
三、公平基线与设置
- 强基线：选当前有代表性、可比的方法，而非精心挑选的弱对手；说明基线的实现/来源与调参方式。
- 同等条件：数据、评测协议、算力对所有方法一致；不给自己方法额外调参预算。
- 超参数透明：报告搜索范围与最终取值，避免"魔法数字"。
四、数据集与指标
- 数据集选择有代表性、被同行认可者；自采数据说明采集与清洗（见
cjc-reproducibility）。 - 指标与任务匹配，报告能反映真实优劣的核心指标，必要时给多指标；避免只报对自己有利的单一指标。
- 明确训练/验证/测试划分，禁止用测试集调参。
五、统计严谨性
- 对随机性敏感的结果报告多次运行的均值±标准差，不用单次最好值。
- 关键对比做显著性检验，说明检验方法、样本与显著性水平。
- 报告效应量/提升幅度并讨论其实际意义，而非仅"提升 0.1% 即宣称更优"。
六、消融与稳健性
- 消融实验：逐一移除/替换关键模块，量化各自贡献，支撑"每个设计都必要"的主张。
- 稳健性：在规模、噪声、分布漂移、超参数扰动下考察稳定性。
- 失败案例：分析方法何时失效，比只报成功更能取信外审。
七、机器学习/数据挖掘的污染防范
- 排查数据泄漏（未来信息/测试信息泄入训练）。
- 使用大模型或公开预训练资源时警惕评测污染，必要时做污染分析或独立评测集。
- 缓存昂贵中间结果，保证可重放（见
cjc-reproducibility）。
八、长文中的结果呈现
- 主结果进正文用代表性表图，完整表进附录（见
cjc-supplementary）。 - 三线表、清晰图；每个图表都有正文解读，不放"只出现不讨论"的图表。
- 图表题名中英文规范，量与单位用法定计量单位（见
cjc-writing-style）。
九、自查清单
- 每个贡献点是否有对应 RQ 与证据？
- 基线是否强且公平、设置是否同条件？
- 是否报告均值±方差与显著性、而非单点最优？
- 是否有消融支撑各模块必要性？
- 是否排查数据泄漏与评测污染？
- 主结果进正文、完整结果进附录、图表都有解读？
十、RQ → 表 的写作样例
把评估问题、实验、结论显式绑定，读者与外审能顺着读：
RQ1：在 <任务T> 上，本文方法是否优于代表性基线？
—— 我们在数据集 D 上与 5 个基线在相同划分与算力下比较(表2)。
—— 结论：本文方法在 4/5 指标上显著更优(配对检验, p<0.05)，平均相对提升 x%；
在指标 M 上与最强基线持平，原因是 …（诚实讨论边界）。
写作要点：先问题、后证据(指明表号)、再结论并主动讨论不占优的情形——坦诚边界比一味宣称全面 领先更能取信《计算机学报》(Chinese Journal of Computers, CJC) 的外审专家。
十一、计算开销与可扩展性
- 报告时间、内存、通信/能耗等开销，与精度提升一起权衡；只报精度不报代价会被追问。
- 系统类工作给出在不同规模/负载下的可扩展性曲线，说明瓶颈与拐点。
- 与基线比较时开销口径一致（同硬件、同实现质量），避免"拿自己优化过的实现比别人未优化的"。
十二、结果的诚实呈现
- 不挑选有利随机种子或有利数据子集；报告完整设置下的结果。
- 负结果与失败案例有分析价值，可增强可信度，而非隐藏。
- 图表不误导：坐标轴不截断制造夸张差距，误差棒与显著性如实标注。
十三、实验部分终检
- 每个 RQ 有对应实验、表图与结论？
- 基线强、公平、同条件？
- 统计严谨(均值±方差/显著性/效应量)？
- 消融支撑各模块必要性？
- 开销与可扩展性已报告？
- 数据泄漏/评测污染已排查？
- 呈现诚实、图表不误导？
输出格式
[RQ] RQ1:___ RQ2:___ RQ3:___（问题-证据闭环）
[基线] 强基线且同条件？超参数透明？是/否
[数据/指标] 代表性数据、任务匹配指标、划分固定？是/否
[统计] 均值±方差 + 显著性 + 效应量？是/否
[消融/稳健] 各模块必要性 + 稳健性 + 失败分析？是/否
[污染] 数据泄漏/评测污染 排查：通过/待改
[呈现] 主结果进正文、图表均有解读？是/否