aifinlab 半结构化数据接入 Skill
数据来源
本 Skill 支持多种半结构化数据源输入格式，核心数据来源包括：
1. 数据源类型
- Excel文件：.xls、.xlsx格式的Excel文件
- 表单数据：在线表单、调查表单、登记表单
- JSON文件：JSON格式的半结构化数据
- XML文件：XML格式的半结构化数据
2. 数据结构类型
- 表格数据：Excel表格、CSV表格
- 表单数据：表单提交数据、表单响应数据
- 嵌套数据：嵌套JSON、嵌套XML
- 混合数据：混合格式数据
3. 数据格式要求
- 文件路径：本地文件路径或网络文件URL
- 文件格式：Excel、JSON、XML等格式
- 文件编码：UTF-8、GBK、GB2312等
- 文件权限：需要读取权限
4. 数据特征
- 数据规模：小数据集（<1万条）、大数据集（>10万条）
- 数据结构：规则结构、不规则结构
- 数据完整性：完整数据、部分数据
- 数据质量：高质量数据、低质量数据
说明：本 Skill 不包含数据采集功能，需要用户提供半结构化数据文件。建议数据格式规范，以便进行准确的数据接入。
功能
本 Skill 提供全面的半结构化数据接入能力，涵盖多种接入功能：
1. 文件读取
- Excel读取：读取Excel文件数据
- JSON读取：读取JSON文件数据
- XML读取：读取XML文件数据
- 文件格式识别：自动识别文件格式
2. 数据结构解析
- 表格结构解析：解析表格的行列结构
- 嵌套结构解析：解析嵌套数据结构
- 结构识别：识别数据结构模式
- 结构标准化：标准化数据结构
3. 数据提取
- 数据提取：从文件中提取数据
- 多工作表提取：提取Excel多个工作表数据
- 选择性提取：选择性提取指定数据
- 批量提取：批量提取多个文件数据
4. 数据转换
- 格式转换：转换数据格式
- 结构转换：转换数据结构
- 编码转换：转换数据编码
- 类型转换：转换数据类型
5. 数据验证
- 数据完整性验证：验证数据的完整性
- 数据准确性验证：验证数据的准确性
- 数据一致性验证：验证数据的一致性
- 数据质量评估：评估数据的质量
6. 高级处理功能
- 数据清洗：清洗数据中的问题
- 数据补全：补全缺失的数据
- 数据标准化：标准化数据格式
- 接入报告：生成数据接入报告
使用示例
输出示例
{
"source_info": {
"source_type": "excel_file",
"source_file": "financial_data.xlsx",
"file_size": 2048000,
"sheet_count": 3
},
"ingestion_config": {
"sheets": ["利润表", "资产负债表", "现金流量表"],
"header_row": 1,
"data_start_row": 2,
"encoding": "UTF-8"
},
"ingestion_results": {
"total_sheets": 3,
"total_records": 5000,
"successful_records": 4950,
"failed_records": 50,
"ingestion_time": "2024-03-15T10:00:00",
"duration": "45s"
},
"data_structure": {
"sheets": [
{
"sheet_name": "利润表",
"row_count": 30,
"column_count": 5,
"headers": ["项目", "2024年", "2023年", "2022年", "2021年"],
"data_records": 28
}
]
},
"data_sample": [
{
"sheet": "利润表",
"row": 2,
"data": {
"项目": "营业收入",
"2024年": 1000000000,
"2023年": 900000000,
"2022年": 800000000,
"2021年": 700000000
}
}
],
"data_quality": {
"completeness": 0.99,
"accuracy": 0.97,
"consistency": 0.96,
"overall_score": 0.97
},
"statistics": {
"files_processed": 1,
"records_ingested": 4950,
"records_failed": 50,
"success_rate": 0.99
}
}
注意事项与限制
1. 文件格式要求
- 标准格式文件接入准确率较高
- 非标准格式可能影响接入
- 文件损坏可能无法读取
2. 数据结构识别
- 规则结构识别准确率较高
- 不规则结构可能需要人工处理
- 复杂结构可能需要特殊处理
3. 数据提取准确性
- 标准表格提取准确率较高
- 复杂表格可能需要人工处理
- 合并单元格可能影响提取
4. 数据质量
- 数据质量影响接入结果
- 需要验证数据完整性
- 异常数据需要处理
5. 使用限制
- 本 Skill 不包含文件编辑功能
- 接入结果需要人工复核
- 复杂文件可能需要人工处理
参考资料
- 见 references/ 目录中的相关文档，包括：
- 半结构化数据接入方法手册
- Excel文件解析指南
- JSON/XML解析说明
- 性能优化指南