brycewang-stanford 《计算机科学》实验设计与呈现
本技能帮你把实验章节搭到能经受《计算机科学》(Computer Science, 简称 JSJKX) 单盲外审的强度。本刊覆盖计算机 全学科，不同栏目(人工智能、计算机网络、信息安全、数据库、体系结构等)有各自的证据惯例，但共同要求是： 结论由公平、可复现、有统计意义的实验支撑，且实验与摘要中的量化结论一致。
提醒：本刊 Computer Science 是期刊(journal)，非会议；实验章节须与复现包、参考文献相互印证。
一、以研究问题(RQ)驱动
先写清 2~4 个 RQ，每个 RQ 对应一组实验与一张主表/主图：
- RQ1 有效性：方法是否优于代表性基线？
- RQ2 组件贡献：各模块/机制各贡献多少（消融）？
- RQ3 鲁棒性/敏感性：对超参、规模、噪声、分布变化是否稳定？
- RQ4（视方向）效率/开销：时间、内存、通信/能耗代价如何？
实验章节按 RQ 组织，读者能一眼对应"问题—证据"。
二、基线：公平且有代表性
- 选取代表性 + 最新基线，覆盖你在相关工作点名的主要路线；基线须与
csj-related-work一一对应。 - 公平：同数据、同划分、同评价、同调参预算；复现他人方法时说明来源（原码/复现）与超参。
- 避免"稻草人基线"（弱化对手）与"樱桃采摘"（只报有利设置）。
三、数据集与协议
- 说明数据来源、规模、划分（训练/验证/测试）、预处理；公开数据给引用与获取方式。
- 固定随机种子与库版本；报告运行次数（如 5 次）与均值±方差。
- 严防数据泄漏：调参只用验证集，测试集仅最终评估一次。
四、评价指标（按栏目）
| 方向 | 常见指标（示例） |
|---|---|
| 人工智能/机器学习 | Accuracy、F1、AUC、NDCG@k、Recall@k、BLEU/ROUGE 等 |
| 信息安全 | 检测率、误报率、ROC/AUC、开销 |
| 计算机网络 | 吞吐、时延、丢包、公平性 |
| 数据库/大数据 | 查询时延、吞吐(QPS)、扩展性 |
| 体系结构/系统 | 加速比、能耗、利用率 |
指标须与问题匹配，主指标突出，辅指标补充；避免只报单一有利指标。
五、统计严谨
- 报告均值±标准差与运行次数；比较关键结论时给显著性检验（如配对 t 检验、Wilcoxon）与 p 值或置信区间。
- 大表加粗最优、标注次优；差异不显著时如实说明，不夸大。
六、消融与敏感性
- 消融：逐个去掉/替换关键组件，量化其贡献，支撑"每个模块都必要"。
- 敏感性：主要超参、数据规模、噪声/分布变化下的表现曲线，体现鲁棒性与适用边界。
七、图表呈现
- 主结果用表(三线表)，趋势用图；图/表均需中英文题注与序号。
- 坐标轴、图例、单位齐全；关键对比用同一坐标系；避免误导性截断。
- 每图每表在正文有解读，不"只放不说"。
八、与其他技能联动
- 实验必须可复现：环境/种子/数据固定见
csj-reproducibility。 - 无法进正文的完整表、超参、额外数据集放附录/补充材料见
csj-supplementary。 - 摘要中的量化结论必须来自这里的主表/主图（见
csj-writing-style）。
九、自查清单
- 是否 RQ 驱动、每个 RQ 有对应证据？
- 基线是否代表性+最新、与相关工作对应、公平比较？
- 数据划分是否清晰、无泄漏、可复现（种子/版本）？
- 指标是否与问题匹配、主辅分明？
- 是否报告方差与显著性、结论不夸大？
- 是否有消融与敏感性分析？
- 图表是否中英文题注、有正文解读，且与摘要量化一致？
十、输出格式
【CSJ 实验审计】
RQ：<RQ1…RQn> 是否各有证据 <✓/✗>
基线：<公平/代表性/与相关工作对应> <✓/✗>
数据：划分清晰[✓/✗] 无泄漏[✓/✗] 种子固定[✓/✗]
指标：与问题匹配 <✓/✗>；统计：方差+显著性 <✓/✗>
消融/敏感性：<✓/✗>
图表：中英文题注+解读 <✓/✗>；与摘要量化一致 <✓/✗>
结论：<证据充分 / 需补：列点>
十一、按栏目调整证据惯例
《计算机科学》(Computer Science) 覆盖全学科，不同栏目对"何为充分证据"预期不同。人工智能/机器学习类重多 数据集、多基线、显著性与消融；信息安全类重威胁模型、攻防对比、误报/漏报权衡与真实场景验证；计算机网络类 重吞吐/时延/丢包的负载曲线与可扩展性；数据库/大数据类重规模扩展性(数据量与并发)与真实/合成负载；体系结构 /系统类重加速比、能耗与在真实硬件或权威模拟器上的测量。投稿前对照你所投栏目近刊文，确认证据类型与呈现 方式对齐，避免"用错方向的证据标准"。
十二、负面结果与局限的诚实呈现
外审专家(单盲，知你身份)更信任诚实的作者。若某些设置下方法不占优、或对某类数据敏感，如实报告并分析原因， 比掩盖更能建立可信度，也预先回应了审稿人可能的质疑。在"局限与未来工作"中明确适用边界。夸大普适性、隐藏 不利结果，一旦被外审复现质疑，往往直接导致大修或退稿。
十三、实验章节与摘要/复现的一致性
实验章节是全文的证据中枢，必须与三处保持一致：摘要中的量化结论只能来自这里的主表/主图；相关工作点名的
基线必须在这里出现并公平比较；复现包(见 csj-reproducibility)能从数据复现这里的每张主表主图。任何数值在
正文、附录、摘要、答复信之间不一致，都会严重损害可信度，投稿前务必交叉核对。
十四、实验章节写作顺序建议
一个高效的实验章节写作顺序：先写实验设置(数据、基线、指标、协议、算力)，再按 RQ 逐节呈现结果，每节 先给主表/主图、再给一段文字解读("表明什么、为何如此")，随后消融与敏感性，最后小结。为《计算机科学》 (Computer Science) 写作时，务必让每张图表都"有人说话"——正文对其关键数字给出解读，而非只放不评。
十五、投稿前实验自检三问
- 若审稿人问"你和最强基线在同等条件下差多少、是否显著"，我能立刻指到哪张表？
- 若审稿人质疑"某模块是否真有用"，我的消融是否已经回答？
- 若审稿人要复现，我的设置(数据/种子/超参/算力)是否足以让他从零跑通？
这三问对应外审最常见的质疑；投稿前能干净利落地回答，实验章节才算过关，也为可能的修回预留了底气。