# Fs Spec Data AI

> 全栈·数据与 AI 方向实现规格生成器。数据管道(Airflow/dbt)、流处理(Flink/Spark)、SQL 分析、特征存储、数据湖、ML 训练与服务化、LLM 应用、RAG、数据可视化。用户提"数据平台/ETL/大模型应用/RAG/推荐系统"的规范时使用。属 it-project-spec-generator 体系。

- Skill: `wufufu770/fs-spec-data-ai` (Agent Skill)
- Install (CLI): `npx skillmds@latest add wufufu770/fs-spec-data-ai`
- Raw SKILL.md: https://api.skillmd.com/api/skills/wufufu770/fs-spec-data-ai/raw
- Safety review: pending
- Works with: Claude Code, Claude.ai, OpenAI Codex
- Category: Data & Analytics
- License: MIT
- Author: wufufu770 (https://skillmd.com/u/wufufu770)
- Updated: 2026-09-17
- Page: https://skillmd.com/skills/wufufu770/fs-spec-data-ai

---


# 数据与 AI 实现规格生成器

## 角色

资深数据/AI 工程架构师：把数据与模型需求翻译成管线级、评估级可开工可验收的规格。非 UI 领域：铁律 2 落地为状态机。

## 生成前置（每次必做）

按序读取本 skill 目录同级的 `_spec-core/` 下 `core-laws.md` → `protocol.md` → `structure.md` 并遵照执行；内核不可读时降级为无内核模式：直接按本 skill 领域骨架生成，全部精确值标 [待验证] 并在文末注明「核心铁律未加载」。

## 章节骨架（叠加于通用 10 章；第 5 章功能改为「管线/模型规格」为最重章）

```
Overview → Architecture → Installation → Quick Start → Configuration →
Pipeline/数据流 → API → Evaluation（评估）→ Deployment → Performance/Benchmarks → FAQ
```

## 子形态要点

| 子形态 | 规格必含 |
|--------|---------|
| 数据管道 (Airflow/dbt) | DAG 清单表（名→调度 cron→依赖→重试）、任务幂等、数据源/汇表（连接、格式、分区）、schema 演进策略、质量检查任务（数据量/空值/重复率阈值）、回填策略、失败告警 |
| 流处理 (Flink/Spark) | 窗口策略（tumbling/sliding/session + 时长）、水位线、恰好一次语义实现、checkpoint 间隔、状态后端、反压处理、迟到数据策略 |
| SQL 分析引擎 | 表/物化视图清单、分区键与排序键设计、导入管线、查询性能预算（P95 ≤ X 秒）、并发上限 |
| 特征存储 | 特征定义表（名称→类型→来源→新鲜度）、离线/在线一致性、时间戳语义 |
| 数据湖 (Delta/Iceberg) | 表格式版本、分区策略、写入事务（merge/CDC）、清理与 vacuum 策略、权限矩阵 |
| ML 训练流水线 | 数据集划分（train/val/test 比例+seed 固定）、超参表（名称/范围/默认）、实验跟踪（指标定义）、资源配额、可复现性（种子+依赖锁定） |
| 模型服务 (Triton/BentoML/ONNX) | 模型清单表（→框架→输入输出 schema→批次策略）、延迟预算（P99 ≤ 50ms 类）、GPU/CPU 资源表、动态批处理参数、版本蓝绿部署、健康检查 |
| LLM 应用 | 模型与提供商表（含 fallback 链）、提示词版本管理、上下文窗口预算表（token 分配：system/历史/工具/回复）、工具调用 schema、成本预算（每请求 token 估算×单价）、流式输出规范、限流/超时/内容过滤错误路径 |
| RAG | 分块策略（chunk 大小/重叠/分割器）、embedding 维度表、向量库索引参数（HNSW M/ef）、检索管线（混合检索+重排）、评估集与指标（Recall@K / 忠实度）、引用溯源格式、增量更新 |
| 可视化 (D3/Superset) | 图表选型表（数据类型→图表）、色盲安全配色、交互规范（tooltip/缩放/钻取）、大数据量档位（10 万点以上 canvas/聚合）、无数据与加载态 |

## 领域增补铁律

8. 管道任务 MUST 幂等；失败重跑 MUST NOT 产生重复数据。
9. 每条记录 MUST 带 event_time 与 ingestion_time，延迟阈值 MUST 显式声明。
10. 模型/查询性能 MUST 给 P95/P99 预算并附基准环境说明；超预算触发告警与降级路径。
11. LLM/RAG 回答 MUST 附可溯源引用；证据不足 MUST 明确回答"未知"，禁止编造。
12. 训练 MUST 锁随机种子 + 依赖版本，第三方复现步骤写入附录。

## 验收惯例

数据质量断言（行数/空值率阈值进 CI）；golden dataset 回归评估（指标降幅 ≤ 阈值才准发布）；LLM 应用附评估集规模与人工评审抽样比例；成本回归测试（单请求 token 上限断言）。

## 开工检查单默认项

技术栈一行 / 架构草图（源→摄取→存储→处理→服务）/ 最先实现的 3 个文件（schema 定义 → 一条最小管线 → 质量检查脚本）/ 最低验收 = 最小管线端到端跑通且质量断言绿。

## 不适用（When NOT to use）

- 纯业务 CRUD API 归 fs-spec-backend。
- 前端可视化大屏的实现归 fs-spec-frontend（本 skill 只管数据侧契约）。
- 训练集群/K8s 基建细节归 fs-spec-devops。