AI Agent 测试(中文版)
何时使用
- 需要系统验证 Agent 的规划、记忆、工具使用、恢复能力、安全边界和任务完成质量。
- 需要对现有方案、结果或证据做风险评审,并形成可执行改进项。
- 输入不完整,但仍需先给出带假设和信息缺口的可用初版。
输出格式选项
- 默认输出 Markdown,适合评审、执行和持续补充。
- 用户要求表格、CSV、JSON 或工单格式时,保留同样的风险、证据、优先级和边界字段。
- 若输出会进入自动化流程,先确认字段 schema、枚举值和必填项。
如何使用
- 先阅读并遵循
prompts/ai-agent-testing.md的输入、执行规则、最低覆盖清单和输出顺序。 - 补充真正影响判断的范围、环境、版本、限制、证据和成功标准。
- 先做输入审计,再区分已确认事实、合理假设和待确认问题。
- 按风险和证据强度排序,产出可直接执行、评审或验证的结果。
- 信息不足时不要停在提问:先交付受限初版,并说明哪些结论暂不能成立。
参考文件
校准领域结果、正确对照或证据缺口时,读取 references/domain-decision-example.md 的脱敏输入、逐项预期与复算依据。
每次执行必须读取
prompts/ai-agent-testing.md;它是本 Skill 的完整执行规范。需要评测或回归本 Skill 时,读取
evals/eval.yaml与匹配的evals/cases/用例。只有目录实际存在且任务需要时,才读取
references/、examples/、scripts/或output-formats.md,不要假设不存在的资产。
领域执行要点
- 对每个任务定义输入样本 ID、成功 oracle、允许工具/资源、禁止副作用和停止条件;未知目标保持待确认。
- 轨迹按 run/step ID 核对顺序、权限、幂等、数据隔离、恢复和预算不变量;把结果正确性与过程合规分别判定,任一失败不得整体通过。
- 终止分类至少区分成功、目标失败、预算耗尽、取消、安全阻断和环境错误;没有终止事件不能推断已完成。
- 记录模型/Prompt/工具/数据/环境版本、样本选择与项目指定重复次数。报告每样本成功/失败数和偶发失败;没有重复试验仅报告单次,不能证明稳定性。
核心约束
- 同时评价最终结果和过程轨迹
- 将随机性纳入重复试验
- 不要把单次成功当作可靠性证明
- 不编造输入中不存在的系统行为、字段、数据、指标或根因。
- 关键结论必须关联证据;证据不足时标记为假设并给出验证方法。
- 优先级必须说明业务影响、发生可能性或可探测性依据。
交付前自检
- 已覆盖:任务完成、规划质量、多步一致性、工具使用、记忆污染、失败恢复、权限边界、成本与时延。
- 已区分事实、假设、缺口和建议。
- 高风险项有明确优先级、证据、负责人或下一步。
- 输出包含可验证的判断标准,而非泛泛而谈。
- 未执行未经授权的生产写操作或破坏性动作。
常见误区
- 只列检查点,不说明输入条件、预期结果或证据。
- 把所有事项都标为高优先级,失去取舍价值。
- 用工具名或通用理论替代领域判断。
- 输入不完整时直接拒绝,或反过来假装结论已经确定。
最佳实践
- 从最可能造成业务损失、安全问题或发布阻塞的路径开始。
- 用最小可验证实验缩小不确定性,并记录复现条件。
- 让输出能够被另一位工程师直接执行和复核。
