Data Intellectual Property Docs

数据知识产权文档生成专家

1. 触发条件

当用户明确表达以下意图时，必须立即调用本SKILL：

• 上传数据文件并表示要进行"数据知识产权申报"、"数据知识产权登记"
• 要求制作"数据知识产权申报书"、"数据集结构说明"、"稀缺性说明文档"
• 要求对原始数据进行"数据处理"并生成"分析报告"
• 提及需要"数据产品说明文件"或"数据知识产权相关文档"

2. 信息收集阶段

用户上传原始数据及示例文档后，必须向用户询问并收集以下信息：

3. 数据预处理阶段

3.1 处理流程

对用户上传的原始数据，按以下顺序执行标准化处理：

1. 数据加载与解析

   • 识别数据格式（CSV/Excel/JSON等）
   • 解析字段结构，识别数据类型（数值型、分类型、时间型、文本型）
   • 初步统计：总行数、总列数、各字段非空率

2. 去重处理

   • 检测完全重复记录
   • 检测业务主键重复（如：同一患者同一次检测的重复记录）
   • 记录去重前数量、去重数量、去重后数量

3. 缺失值处理

   • 统计各字段缺失率
   • 策略选择（按字段类型）：
     • 数值型：均值/中位数/众数填充，或标记为缺失类别
     • 分类型：众数填充或单独设"未知"类别
     • 关键字段缺失率>30%：考虑剔除该字段或对应记录
   • 记录各字段采用的缺失值处理策略

4. 异常值处理

   • 数值型字段：使用箱线图法（IQR）或3σ原则检测异常值
   • 时间型字段：检测时间矛盾、未来日期、超限日期
   • 分类型字段：检测逻辑矛盾（如：性别字段出现非男/女/未知值）
   • 处理策略：修正、截尾、剔除或保留（视业务场景定）
   • 记录各字段异常值检测结果及处理策略

5. 标准化处理

   • 数值型字段：Z-score标准化或Min-Max归一化
   • 时间型字段：统一时间格式（ISO 8601）
   • 分类型字段：统一编码规则
   • 文本型字段：去除首尾空格、统一大小写（如需要）

6. 数据变换

   • 根据业务需求生成衍生字段（如：年龄分组、BMI分级）
   • 对数变换、平方根变换（针对偏态分布数据）
   • 离散化/分箱处理
   • 记录所有变换规则及公式

3.2 处理过程记录

建立《数据处理过程记录表》，包含：

• 处理步骤序号
• 处理类型（去重/缺失值/异常值/标准化/变换）
• 涉及字段
• 处理前状态
• 处理方法/策略
• 处理后状态
• 记录数量变化

3.3 输出处理后的数据

• 按原始数据格式（CSV/Excel）输出清洗后的数据文件
• 文件名格式：{数据集名称}_处理后数据_{YYYYMMDD}.{格式}

4. 数据分析阶段

4.1 探索性数据分析（EDA）

对处理后的数据执行以下分析并生成可视化：

1. 描述性统计

   • 数值型：均值、中位数、标准差、最小值、最大值、四分位数
   • 分类型：频数分布、占比、众数
   • 时间型：时间跨度、分布趋势

2. 数据分布分析

   • 各字段直方图/密度图
   • 箱线图（检测偏态和离群点）
   • 正态性检验（Shapiro-Wilk或Kolmogorov-Smirnov）

3. 相关性分析

   • 数值型字段间Pearson/Spearman相关系数矩阵
   • 热力图可视化

4. 数据质量评估

   • 完整性、准确性、一致性、时效性评估

4.2 机器学习分析

根据数据特点选择合适的机器学习任务（分类/回归/聚类/时序预测）：

4.2.1 数据划分

按以下三种比例分别划分训练集和验证集：

• 训练集:验证集 = 8:2
• 训练集:验证集 = 7:3
• 训练集:验证集 = 9:1

要求：

• 使用随机种子保证可复现
• 分层抽样（针对分类问题，保持类别比例一致）
• 分别在三套划分上训练并评估模型

4.2.2 模型选择与训练

根据数据特点选择至少3种算法进行对比：

分类任务候选算法：

• 逻辑回归（Logistic Regression）
• 随机森林（Random Forest）
• 支持向量机（SVM）
• XGBoost/LightGBM
• 神经网络（MLP）

回归任务候选算法：

• 线性回归 / 岭回归 / Lasso
• 随机森林回归
• XGBoost回归
• 支持向量回归（SVR）

聚类任务候选算法：

• K-Means
• DBSCAN
• 层次聚类

评估指标：

• 分类：准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1-Score、AUC-ROC
• 回归：MSE、RMSE、MAE、R²
• 聚类：轮廓系数(Silhouette Score)、CH指数

4.2.3 模型筛选

• 对比三种划分比例下的模型表现
• 筛选综合表现最优的1-2种方法
• 分析模型稳定性（不同划分下的方差）

4.3 分析报告输出

生成《数据分析报告》，必须包含：

1. 数据概览

   • 样本总量、特征数量、数据类型分布
   • 目标变量分布（监督学习任务）

2. 探索性分析结果

   • 关键发现、异常特征、强相关变量对
   • 附可视化图表

3. 机器学习结果

   • 各算法在三套划分下的性能对比表
   • 最优模型选择理由
   • 特征重要性分析（如适用）
   • 模型评估指标详细数值

4. 算法公式

   • 列出所使用算法的核心数学公式
   • 例如：
     • 逻辑回归：$P(y=1|x) = \frac{1}{1 + e^{-(w^Tx + b)}}$
     • 随机森林：$\hat{f}(x) = \frac{1}{B}\sum_{b=1}^{B} f_b(x)$
     • 标准化：$z = \frac{x - \mu}{\sigma}$

5. 结果说明

   • 模型在实际场景中的适用性分析
   • 潜在局限性
   • 改进方向

5. 文档生成阶段

基于数据处理过程记录和数据分析报告，生成以下4类文档：

5.1 数据集结构说明（Excel表）

生成Excel文件，包含以下字段：

额外增加Sheet页《数据字典》，包含字段业务含义说明。

5.2 数据知识产权申请书

参照数据知识产权申报书标准样式撰写，必须包含以下章节：

封面/标题

• 数据知识产权登记申请书

一、数据集基本信息

• 数据集名称
• 数据类别（原始数据/加工后数据/衍生数据）
• 数据来源及采集设备
• 数据采集时间段
• 数据总量及条目数
• 数据格式

二、数据处理过程说明

• 原始数据状况
• 数据清洗规则（去重、缺失值、异常值处理详情）
• 数据标准化与变换方法
• 数据质量提升效果

三、数据分析方法及结果

• 分析目标
• 探索性分析主要发现
• 机器学习方法（按2:8/3:7/1:9划分的训练验证方案）
• 最优模型及评估结果
• 核心算法公式
• 分析结论

四、数据创新性说明

• 数据稀缺性或独特性
• 数据加工的创新点
• 数据价值提炼过程

五、数据应用场景

• 适用领域
• 典型应用场景
• 应用前景

六、承诺声明

• 数据来源合法性声明
• 数据使用合规性声明

5.3 数据稀缺性说明文档

仅当数据总量（清洗后）少于1000条时生成。

参照以下结构撰写DOCX文档：

1 概述

• 说明本文件目的：佐证数据质量、样本分布及稀缺情况

2 全量数据及数据清洗情况

• 2.1 原始全量数据：数据集名称、采集时间段、原始总量、涵盖核心字段
• 2.2 数据清洗规则：逐条列出清洗规则（剔除缺失、剔除异常、去重、筛选规则等）
• 2.3 清洗后有效全量数据：可用总量

3 全量数据处理说明

• 清洗后母体数据量
• 最终有效样本总量
• 整体占比
• 分层覆盖情况

4 数据稀缺情况说明

• 4.1 数据稀缺判定标准：
  • 高度稀缺：亚组占比<1%
  • 中度稀缺：1%≤亚组占比<3%
  • 数据充足：亚组占比≥3%
• 4.2 各亚组数据占比及稀缺情况（表格）
  • 表格列：序号、亚组名称、占比(%)、样本量(条)、稀缺等级、来源/参考文献
• 4.3 整体稀缺情况汇总
  • 各稀缺等级亚组数量及占比
  • 整体分布特征描述
• 4.4 数据稀缺成因情况（逐条列出）
• 4.5 数据稀缺对分析结果的影响
• 4.6 稀缺数据优化与处理措施

5 总结

• 数据集整体评价
• 结论有效性说明

5.4 数据产品说明文件

仅当用户明确数据集已进行推广应用时生成。

包含内容：

1 数据产品概述

• 产品名称
• 产品形态（API/数据包/报告/模型等）
• 目标用户群体

2 数据来源与加工

• 数据来源说明
• 核心加工过程
• 数据质量保障

3 产品功能与价值

• 核心功能模块
• 解决的业务痛点
• 数据价值体现

4 应用案例与效果

• 已服务的客户/机构
• 典型应用案例
• 量化效果指标

5 应用前景分析

• 市场需求分析
• 行业发展趋势
• 潜在应用场景扩展
• 可检索相关专利作为应用前景参考（如用户要求）

6 合规性与安全性

• 数据脱敏与隐私保护
• 使用授权范围
• 合规资质

6. 输出规范

1. 所有文档必须使用中文撰写
2. 数值保留适当小数位数（一般2-4位）
3. 表格使用标准三线表格式
4. 公式使用LaTeX格式排版
5. 文件命名规范：
   • 处理后数据：{数据集名称}_处理后数据_{YYYYMMDD}.{格式}
   • 数据集结构说明：{数据集名称}_数据集结构说明_{YYYYMMDD}.xlsx
   • 申请书：{数据集名称}_数据知识产权申请书_{YYYYMMDD}.docx
   • 稀缺性说明：{数据集名称}_数据稀缺性说明_{YYYYMMDD}.docx
   • 数据产品说明：{数据集名称}_数据产品说明_{YYYYMMDD}.docx
   • 分析报告：{数据集名称}_数据分析报告_{YYYYMMDD}.docx

7. 执行流程图

用户上传数据
    ↓
收集6项基本信息（名称、设备、形式/条目数、起止时间、领域、是否推广）
    ↓
数据预处理（去重→缺失值→异常值→标准化→变换）
    ↓
输出：处理后数据文件 + 处理过程记录
    ↓
探索性数据分析（EDA）
    ↓
机器学习分析（2:8 / 3:7 / 1:9 划分对比）
    ↓
输出：数据分析报告（含算法公式、结果说明）
    ↓
生成文档：
  ├─ 1. 数据集结构说明（Excel）【必须】
  ├─ 2. 数据知识产权申请书（DOCX）【必须】
  ├─ 3. 数据稀缺性说明（DOCX）【数据<1000条时】
  └─ 4. 数据产品说明（DOCX）【已推广时】

8. 特别注意事项

1. 数据处理可复现性：所有随机操作必须设置随机种子，确保结果可复现
2. 分层抽样：如为分类问题，划分训练/验证集时必须使用分层抽样
3. 稀缺性判定：亚组划分应基于业务逻辑（如疾病分级、年龄段、性别等），非随意划分
4. 算法公式准确性：所有数学公式必须经过校验，确保符号和表达正确
5. 用户确认：在生成最终文档前，应向用户确认关键信息（数据集名称、时间范围等）无误
6. 隐私保护：处理过程中如发现敏感个人信息，应提示用户进行脱敏处理