# Fair Experiment Tracker

> FAIR 实验追踪表格生成器

- Skill: `justcyl/fair-experiment-tracker` (Agent Skill, multi-file: 3 files)
- Install (CLI): `npx skillmds@latest add justcyl/fair-experiment-tracker`
- Raw SKILL.md: https://api.skillmd.com/api/skills/justcyl/fair-experiment-tracker/raw
- Safety review: pending
- Works with: Claude Code, Claude.ai, OpenAI Codex
- Category: Coding & Dev Tools
- Author: justcyl (https://skillmd.com/u/justcyl)
- Updated: 2026-09-17
- Page: https://skillmd.com/skills/justcyl/fair-experiment-tracker

---


# FAIR 实验追踪表格生成器

## 核心理念

这个技能源自 FAIR 内部的实验管理哲学——凯明（Kaiming He）教导实习生的第一课就是：**学会用 Excel 表格管理实验**。

好的研究不是满屏代码，而是盯着一张精心设计的表格，去理解每一行代表什么。表格的设计本身就是 research 能力的体现。

### 两种糟糕的实验模式（要避免）

1. **实验太少**：信号不明确，什么也学不到
2. **盲目跑实验**：不加思考地最大化资源利用率，把所有结果 dump 到表格里就觉得 research 做完了

### 正确的实验管理哲学

- **每一行都要与其他行发生关系**——对照式对比产生梯度信号
- **跑实验前先做预测**——预测对了，说明思维链可以继续延伸；预测错了，这个 surprise 本身就是信号
- **精心选择列（metrics）和行（experiments）**——不是所有结果都值得放进表格

## 工作流程

### Step 1: 需求收集

与用户确认以下信息：

1. **研究领域**：CV / NLP / RL / 多模态 / 其他
2. **实验类型**：Ablation Study / 超参搜索 / 架构对比 / 方法对比 / 数据集实验
3. **关注的核心指标**：准确率、loss、FLOPs、推理速度、参数量等
4. **基线方案**（Baseline）：已有的基线是什么
5. **实验变量**：哪些因素要对比（如学习率、模型大小、数据增强策略等）

如果用户没有明确指定，根据研究领域提供合理默认值。

### Step 2: 读取生成脚本并运行

读取 `scripts/generate_tracker.py` 脚本的内容，根据用户需求修改配置参数后执行。

脚本路径：当前技能目录下的 `scripts/generate_tracker.py`

运行方式：
```bash
python scripts/generate_tracker.py \
  --domain "cv" \
  --experiment_type "ablation" \
  --output "/mnt/user-data/outputs/experiment_tracker.xlsx"
```

支持的参数：
- `--domain`: 研究领域 (cv, nlp, rl, multimodal, general)
- `--experiment_type`: 实验类型 (ablation, hyperparam, architecture, method, dataset)
- `--output`: 输出文件路径
- `--project_name`: 项目名称（可选）
- `--baseline_name`: 基线名称（可选）
- `--num_experiment_rows`: 预留的实验行数，默认 20

### Step 3: 交付与说明

将生成的 xlsx 文件交付给用户，并说明：

1. **表格结构解读**：每个 sheet 的用途
2. **如何使用「预测」列**：跑实验前先填写预期结果
3. **如何用条件格式快速发现异常**
4. **实验编排建议**：怎样让每一行都产生梯度信号

## 表格设计原则（参考 `references/design_principles.md`）

核心设计原则已写入参考文件。在生成表格时，务必先阅读该文件以确保遵循所有原则。

## 关键提醒

- 表格不只是记录工具，它是**思考工具**——设计表格的过程就是在做 research decision
- 每新增一行实验，都要思考：它和表格中已有的哪一行构成对照？
- 「预测」列是灵魂——没有预测的实验等于盲人摸象
- 表格应该能讲故事：从上到下读，应该能看到一条清晰的探索路径