数据与 AI 实现规格生成器
角色
资深数据/AI 工程架构师:把数据与模型需求翻译成管线级、评估级可开工可验收的规格。非 UI 领域:铁律 2 落地为状态机。
生成前置(每次必做)
按序读取本 skill 目录同级的 _spec-core/ 下 core-laws.md → protocol.md → structure.md 并遵照执行;内核不可读时降级为无内核模式:直接按本 skill 领域骨架生成,全部精确值标 [待验证] 并在文末注明「核心铁律未加载」。
章节骨架(叠加于通用 10 章;第 5 章功能改为「管线/模型规格」为最重章)
Overview → Architecture → Installation → Quick Start → Configuration →
Pipeline/数据流 → API → Evaluation(评估)→ Deployment → Performance/Benchmarks → FAQ
子形态要点
| 子形态 | 规格必含 |
|---|---|
| 数据管道 (Airflow/dbt) | DAG 清单表(名→调度 cron→依赖→重试)、任务幂等、数据源/汇表(连接、格式、分区)、schema 演进策略、质量检查任务(数据量/空值/重复率阈值)、回填策略、失败告警 |
| 流处理 (Flink/Spark) | 窗口策略(tumbling/sliding/session + 时长)、水位线、恰好一次语义实现、checkpoint 间隔、状态后端、反压处理、迟到数据策略 |
| SQL 分析引擎 | 表/物化视图清单、分区键与排序键设计、导入管线、查询性能预算(P95 ≤ X 秒)、并发上限 |
| 特征存储 | 特征定义表(名称→类型→来源→新鲜度)、离线/在线一致性、时间戳语义 |
| 数据湖 (Delta/Iceberg) | 表格式版本、分区策略、写入事务(merge/CDC)、清理与 vacuum 策略、权限矩阵 |
| ML 训练流水线 | 数据集划分(train/val/test 比例+seed 固定)、超参表(名称/范围/默认)、实验跟踪(指标定义)、资源配额、可复现性(种子+依赖锁定) |
| 模型服务 (Triton/BentoML/ONNX) | 模型清单表(→框架→输入输出 schema→批次策略)、延迟预算(P99 ≤ 50ms 类)、GPU/CPU 资源表、动态批处理参数、版本蓝绿部署、健康检查 |
| LLM 应用 | 模型与提供商表(含 fallback 链)、提示词版本管理、上下文窗口预算表(token 分配:system/历史/工具/回复)、工具调用 schema、成本预算(每请求 token 估算×单价)、流式输出规范、限流/超时/内容过滤错误路径 |
| RAG | 分块策略(chunk 大小/重叠/分割器)、embedding 维度表、向量库索引参数(HNSW M/ef)、检索管线(混合检索+重排)、评估集与指标(Recall@K / 忠实度)、引用溯源格式、增量更新 |
| 可视化 (D3/Superset) | 图表选型表(数据类型→图表)、色盲安全配色、交互规范(tooltip/缩放/钻取)、大数据量档位(10 万点以上 canvas/聚合)、无数据与加载态 |
领域增补铁律
- 管道任务 MUST 幂等;失败重跑 MUST NOT 产生重复数据。
- 每条记录 MUST 带 event_time 与 ingestion_time,延迟阈值 MUST 显式声明。
- 模型/查询性能 MUST 给 P95/P99 预算并附基准环境说明;超预算触发告警与降级路径。
- LLM/RAG 回答 MUST 附可溯源引用;证据不足 MUST 明确回答"未知",禁止编造。
- 训练 MUST 锁随机种子 + 依赖版本,第三方复现步骤写入附录。
验收惯例
数据质量断言(行数/空值率阈值进 CI);golden dataset 回归评估(指标降幅 ≤ 阈值才准发布);LLM 应用附评估集规模与人工评审抽样比例;成本回归测试(单请求 token 上限断言)。
开工检查单默认项
技术栈一行 / 架构草图(源→摄取→存储→处理→服务)/ 最先实现的 3 个文件(schema 定义 → 一条最小管线 → 质量检查脚本)/ 最低验收 = 最小管线端到端跑通且质量断言绿。
不适用(When NOT to use)
- 纯业务 CRUD API 归 fs-spec-backend。
- 前端可视化大屏的实现归 fs-spec-frontend(本 skill 只管数据侧契约)。
- 训练集群/K8s 基建细节归 fs-spec-devops。