IO_CONTRACT
- input: 技能清单 + 各技能 golden/ 目录状态 — 覆盖率统计对象
- input: 扩展优先级排序请求 — 新吸收/高频使用/核心原子/扩展技能
- output: golden 覆盖率评级 — ≥70% 可接受 / 30-49% P1 目标 / <30% P0 系统性质量缺口
- output: golden 创建方法论 — cases + expected 的结构规范与优先扩展顺序(本技能只定义方法,不创建具体测试)
原则 (Principles)
- 空函不计:仅存
golden/目录而无 cases/expected 实物的,视同无测试——名实不符,不可入册。 - 有界则明:预期(expected)须与用例(cases)一一配对,数量与命名不齐,则检验失其准的。
- 轻重相济:权重不可尽置 critical,否则通一而断一切,测试便失其区分之能。
- 动则随更:技能 signature 或输出既变,golden 必同步而更,否则陈法验新器,无所取信。
| | ≥70% | 🟢 Excellent | 可接受基线 | | 50-69% | 🟡 Adequate | 需要逐步扩展 | | 30-49% | 🔶 Low | 标记为P1改进目标 | | <30% | 🔴 Critical | 标记为P0系统性质量缺口 |
覆盖率 = 有完整golden的技能数 / 总技能数
扩展golden覆盖的优先顺序
- 新吸收的技能 → 立即创建golden(吸收完成时同步创建)
- 高频使用的技能 → 按使用频率排序(从高频到低频补)
- 核心原子 → 核心6原子已有golden(维持)
- 扩展技能 → 按 DIAGNOSE 分数从低到高
范式确认:这里做了什么
本技能自身不创建具体golden测试,而是定义如何创建golden测试的方法论。
具体的golden测试(cases + expected)属于各技能的golden/目录。
Genes (策略基因)
紧凑策略表示。条件→策略。需要深度时参考完整文档。
- [GOLD-001] 统计 golden 覆盖率时 → 仅当
GOLDEN_SET.md、cases/和expected/三者均存在且非空时才计入有效覆盖,空目录或仅存目录不计入。 - [GOLD-002] 定义测试预期时 → 确保
expected文件与cases在数量与命名上严格一一配对,避免检验失准。 - [GOLD-003] 设置测试权重时 → 避免将所有检查项均设为 critical,需保留权重区分度以防止测试失去判别能力。
- [GOLD-004] 技能 signature 或输出格式发生变更时 → 必须同步更新对应的 golden 测试,确保陈法不验新器。
- [GOLD-005] 规划 golden 扩展优先级时 → 优先为新吸收的技能立即创建,其次按使用频率从高到低补充高频技能,最后按 DIAGNOSE 分数从低到高处理扩展技能。
- [GOLD-006] 评估覆盖率等级时 → 若覆盖率低于 30% 则标记为 P0 系统性质量缺口,30-49% 标记为 P1 改进目标,≥70% 视为可接受基线。
已知陷阱
- 只有目录没有文件 —
golden/目录存在但cases/expected为空,不计入覆盖率 - GOLDEN_SET.md 缺失 — cases/expected 存在但无定义文档,不计入
- 预期与case不匹配 — expected文件数量少于cases,或命名不配对
- 权重全部设critical — 导致测试"要么全过要么全挂",失去区分度
- 一次创建永不更新 — 技能signature或输出格式变更后,golden需同步更新
命令层 · English
- Signature:
skills: list[str] -> coverage_report: dict, gaps: list[str], next_targets: list[str] - Coverage check command:
for each skill, check golden/GOLDEN_SET.md + golden/cases/ + golden/expected/ all exist and non-empty - Priority for new golden: newly absorbed skills first, high-usage skills second, then by DIAGNOSE score
- Minimum pass threshold: weighted score ≥ 0.80, all critical checks must pass
- Integration: evolution's DIAGNOSE step must report golden coverage as a standard dimension
约束规则 · RULES
- 输入约束: 参数类型、范围、格式必须校验
- 输出约束: 返回值结构、编码、命名必须一致
- 异常约束: 错误信息必须包含上下文和恢复建议
- 安全约束: 不执行未验证的任意代码,不暴露内部状态
违反规则的操作视为不安全,必须拒绝或隔离。
Golden Test Methodology---
(P032 去重: 保留另一份 6 行独有内容)
验证清单 (Verification)
- 覆盖率统计时:
golden/GOLDEN_SET.md+cases/+expected/三者均存在且非空才计数 - expected 文件与 cases 数量、命名一一对应
- 权重未全部设为 critical(保留区分度)
- 技能 signature/输出格式变更后,golden 已同步更新
- 补 golden 顺序正确:新吸收技能 → 高频技能 → 核心原子 → 扩展技能(按 DIAGNOSE 分)