tybiefh-beep ai-failure-pattern-collector
触发条件
需要系统性记录 AI 执行偏差、误解指令、输出质量不达标等失败案例时使用。不记录成功路径,专门收集需要人工干预的节点、AI 误解的原因分析、以及有效的修正方式。
反触发(不适用)
- 成功率统计场景使用其他工具
- 实时任务中不应中断去记录
- 失败原因明显是网络/API 问题而非模型理解问题时跳过
- 用户没明确同意记录时(隐私边界)
Gotchas(易错点)
- 失败定义主观,先定标准 → "失败" = 用户最终修改/拒绝/重新生成的回复;不是 AI 自己说"我不确定"
- 记录时机卡对话流畅 → 不能打断主线,要么对话结束钩子,要么用户主动标记
- 根因归类容易贴错标签 → 别用"幻觉"概括一切,区分:指令误解/事实幻觉/格式偏差/边界判断/上下文丢失
- 高频失败 = 模型 + 任务的组合问题,不是模型单方面问题 → 同一模型在不同任务表现差异巨大,记录时必须带任务类型
- 聚类预警容易误报 → 阈值设太严漏报,太松噪音淹没;建议单类型 ≥ 3 次/月 才预警
- 数据隐私 → 不要记录用户输入的敏感内容(密码/医疗/财务),只记 AI 输出偏差本身
覆盖操作(必须支持)
- 失败条目数据结构(任务描述 / 偏差描述 / 根因分析 / 修正方式 / 标签 / 模型版本)
- 快速记录 UI(对话中一键标记当前轮次为失败案例,≤ 3 次点击)
- 失败模式分类(指令误解 / 幻觉 / 格式偏差 / 边界判断失误 / 上下文丢失)
- 按标签/提供商/模型版本/时间检索
- 定期 AI 聚类分析:自动发现高频失败模式并生成预警规则
- 导出失败清单(给模型供应商反馈或自己回看)
工作流(分阶段)
1. 立项
- 决定记录粒度(每轮对话 vs 每任务完成时)
- 决定存储(纯本地文件 / SQLite / 第三方笔记工具)
- 定失败判定标准(用户主动标记 / AI 自评低分 / 事后回看)
2. 数据设计
- 字段最小集:时间戳 / 任务摘要 / AI 输出 / 用户修正 / 根因标签 / 模型版本
- 根因标签控制在 5-8 类(多了记不住)
- 提供"补充说明"自由文本字段(每条 ≤ 200 字)
3. 实现
- 记录入口要"零摩擦"(1 次点击标记,不要让用户填表)
- 检索界面按"最近 + 高频"两个维度展示
- 聚类分析放后台,主对话不阻塞
- 隐私脱敏自动跑(检测到敏感关键词 → 标记 → 二次确认)
4. 运营
- 每周看一次高频失败 → 调整 prompt 或加约束
- 每月导出一次 → 找模型供应商反馈或发 issue
- 季度清理:删除已修正的旧条目,避免数据膨胀
交付清单(checklist)
- 失败条目数据结构定义清楚
- 一键标记 UI 集成到对话流
- 至少支持按时间/标签/模型 3 个维度检索
- 聚类分析能输出"高频失败 top 5"
- 失败数据可导出(JSON/CSV)
- 隐私脱敏自动跑
- 有清理策略(避免无限堆积)