Athena Runtime Verify

/athena-runtime-verify — 运行时验证环 (v9.9.0)

为什么存在 (痛点)

PACE 到 impl 为止, review 三件套 + 单测只验证 "我们想的问题实现没 / 单测过没", 不验证 实际运行. 代码单测全绿 ≠ 真实接口跑得通 / 边界数据不炸 / 换个环境不挂. 本 skill 在 impl 与 review 之间插一个 运行时验证环: 写完 → 实跑 → 自测自改 → 直到真能跑.

把"人盯着跑测试、贴日志、让它改"这件事, 换成 系统自己跑、自己发现、自己改 (Loop Engineering).

触发 (按 PACE 级别)

不在小改动上强制 (铁律[不过度工程]). 单测能覆盖的别上 /goal, 杀鸡用牛刀。

核心: 用官方 /goal 承载, 不自造 loop

官方 /goal (CC 2.1.139+) 就是现成 loop 引擎: observe-act-observe, 独立 supervisor 审计 [官方 code.claude.com/docs/en/goal]. 本 skill 不重新发明 loop, 只把"运行时验证"写成一个 /goal 完成条件, 让 CC 自己跑到完成.

Step 0 · 开环前自检 (Loop Readiness · 借 cobusgreyling/loop-engineering loop-audit)

把 /goal 这种自驱 loop 放出去前, agent 先给自己打分 —— 这是 "agent in loop and check" 把 check 前移: 让 loop 跑之前就有能说 no 的东西, 而不是烧完 token 才发现没护栏。三项全绿才进 Step 1。

这是把 loop-audit 的 "Loop Readiness Score" 做成 agent 自评的一次性 gate —— 不引外部 CLI, 不自造轮子, 只把"开环前该问的三件事"固化成动作。

Step 1 · 主 agent 设 /goal (impl 完成后)

完成条件三件套 (官方, ≤4000 字符):

1. 可测终态: 实跑结果可判定 (HTTP 200 / 退出码 0 / 边界用例全过 / 响应字段匹配)
2. stated check (Claude 怎么证明 — 见下方陷阱): 把实跑命令 + 输出晒进 transcript
3. 约束 + turn 上限护栏: 改哪些不能动 + "Stop after N turns" (/goal 无内建 token 预算, 上限必写)

示例 (后端 API):

/goal 对本 sprint 新增的 /api/refresh 端点做运行时验证, 直到:
  (a) 运行 `curl -s -X POST localhost:3000/api/refresh -d @test/normal.json | jq .status` 输出 200;
  (b) 5 个边界用例 (空 token / 过期 token / 篡改签名 / 并发刷新 / 超长 payload) 各跑一次, 把命令和输出贴进对话, 每个都返回预期错误码而非 500;
  (c) 测出的每个问题都已改代码并复跑通过.
  约束: 只动 src/api/ 和 src/auth/, 不碰 .ai_state. Stop after 25 turns.

⚠️ /goal supervisor 只读 transcript (致命陷阱)

官方明确: supervisor 只判断 Claude 在对话里实际展示出来的东西, 不读文件、不跑命令. → 完成条件必须写成 "Claude 输出能演示的", 每次实跑把 命令 + 输出 晒进 transcript.

Step 2 · agent 在 /goal 循环内自驱 (DOER + CHECKER)

每轮 agent 自己决定下一步 (这就是你说的"自己给自己提要求"):

• 写测试场景: 实际接口调用 / 模拟数据 (正常 + 边界 + 异常) / 不同环境 (空库 / 满库 / 慢网络)
• 环境矩阵 (v9.9.0): _index.tools_available.vm_available=true → 先 /athena-vm doctor 自检, 然后关键场景在远程 VM 复跑一轮 (ssh athena-vm-{name} 'cd {workdir} && ...') — 干净环境暴露隐式依赖, 真实发行版暴露平台差异; ssh 命令 + 远端输出照旧晒进 transcript. VM 不通 → 降级回本机模拟, runtime-verify.md 里记一行"VM 未覆盖"进 Reflect
• 实跑 (按类型选已装插件/工具):
  • 前端 / E2E → $playwright skill / 官方 playwright-skill 插件 (启 dev server + 浏览器驱动 + 断言 + 可复跑测试)
  • 后端 / API → curl / 真实 HTTP 调用 / 测试库真实读写
  • CLI → 实际命令执行 + 退出码 + stdout 断言
• 测出问题 → 自己改代码 → 复跑 (自测自改)
• 循环到完成条件满足 → supervisor 独立审计

Step 3 · 执行者判定 (CC /goal 主路径)

默认 CC /goal (本平台). 理由: /goal 是有状态连续 loop + 自带 supervisor; codex exec 每次独立 session 断片、无 supervisor 层; 交互式 CC 在订阅内. codex 特例: System 级密集测试想省 token / 隔离 → 走 athena-route (executor_weight; 本包未含, 待 U5 五五路由落地), opt-in. 不默认。

Step 4 · reflect (写完先自测, 再想哪里没完善)

runtime-verify 跑完, 触发一次 结构化反思 (Loop Engineering 的"系统自己发现任务"):

• 对照 design.md 验收 + 实跑中暴露的现实 (性能 / 边界 / 兼容), 列 "还有哪些没覆盖 / 没完善"
• 写 runtime-verify.md 的 ## Reflect 段
• 决策:
  • 发现实质缺口 → 回 impl 补 (写进 checklist.yaml 新 task)
  • 够了 → next_action=review

这一步把"人来发现还缺什么"换成"系统跑完自己反思". 不是 brainstorm 新需求 (那是项目级), 是 本 sprint 落地完整性的自检.

产出

sprints/{slug}/runtime-verify.md:

# Runtime Verify — {slug}

## /goal 完成条件
[设的 goal 原文]

## 测试场景 (实跑)
| 场景 | 类型 | 命令 | 实际输出 | 判定 |
|---|---|---|---|---|
| 正常刷新 | API | curl... | 200 | ✅ |
| 过期 token | 边界 | curl... | 401 | ✅ |
| 并发刷新 | 异常 | ... | 改前 500→改后 409 | ✅ (已修) |
| 干净环境启动 | VM | ssh athena-vm-dev 'cd work && npm ci && npm start' | 启动 OK, 暴露缺 dotenv 依赖→已补 | ✅ (已修) |

## 自测自改记录
- 问题 1: 并发刷新返回 500 → 根因: 无锁 → 改: 加乐观锁 → 复跑 409 ✅

## Reflect (还有哪里没完善)
- [ ] 未覆盖: refresh token 轮换后的旧 token 失效 (design 没要求, 但实跑发现风险) → 回 impl 补 T7
- [x] 已确认完整: 正常 + 5 边界全过

## VERDICT: PASS | REWORK(回 impl)

delivery-gate 联动

System/Refactor + stage=ship 时, delivery-gate 检查:

• runtime-verify.md 存在
• 含 ## 测试场景 (实跑) 段且有实际输出 (不是空模板)

缺失 → block, 解锁动作: 跑 /athena-runtime-verify.

与单测 / review 的分工

不做

• ❌ 不自造 loop 引擎 (用官方 /goal)
• ❌ 不替代单测 (单测在 impl; 这里是运行时实跑)
• ❌ 不无限循环 (/goal turn 上限护栏必写, 撞上限停下来报告)
• ❌ Hotfix/Bugfix/Quick 不强制 (小改动过度工程)
• ❌ reflect 不发散成新需求 (那是项目级 brainstorm; 这里只查本 sprint 落地完整性)

例外

• 项目无可运行环境 (纯库 / 纯算法, 无接口无 UI): 降级为"用真实数据跑示例 + 边界", 不强求起服务
• _index.skip_runtime_verify = true: 跳过 (用户自负责, 不推荐 System/Refactor 跳)