aifinlab 多源数据聚合 Skill
数据来源
本 Skill 支持多种数据源聚合输入格式，核心数据来源包括：
1. 数据源类型
- 数据库：多个数据库数据源
- API接口：多个API接口数据源
- 文件数据：多个文件数据源
- 流式数据：多个流式数据源
2. 数据源特征
- 数据源数量：少量数据源（<10个）、大量数据源（>100个）
- 数据源类型：同类型数据源、混合类型数据源
- 数据更新频率：实时更新、定时更新、批量更新
- 数据源可靠性：高可靠性、低可靠性
3. 数据格式要求
- 数据源配置：数据源连接配置信息
- 聚合规则：数据聚合规则和策略
- 数据映射：数据字段映射关系
- 数据格式：数据格式和编码方式
4. 聚合特征
- 聚合方式：合并、汇总、关联等聚合方式
- 聚合粒度：明细级、汇总级、统计级
- 聚合时间：实时聚合、定时聚合、批量聚合
- 聚合范围：全量聚合、增量聚合
说明：本 Skill 不包含数据源配置功能，需要用户提供数据源配置信息。建议数据源稳定可靠，以便进行准确的数据聚合。
功能
本 Skill 提供全面的多源数据聚合能力，涵盖多种聚合功能：
1. 数据源管理
- 数据源连接：连接多个数据源
- 数据源配置：配置数据源参数
- 数据源监控：监控数据源状态
- 数据源调度：调度数据源访问
2. 数据提取
- 并行提取：并行从多个数据源提取数据
- 增量提取：增量提取数据源数据
- 全量提取：全量提取数据源数据
- 选择性提取：选择性提取指定数据
3. 数据聚合
- 数据合并：合并多个数据源的数据
- 数据汇总：汇总多个数据源的数据
- 数据关联：关联多个数据源的数据
- 数据聚合：聚合多个数据源的数据
4. 数据转换
- 格式转换：转换数据格式
- 结构转换：转换数据结构
- 字段映射：映射数据字段
- 数据标准化：标准化数据格式
5. 数据验证
- 数据完整性验证：验证数据的完整性
- 数据准确性验证：验证数据的准确性
- 数据一致性验证：验证数据的一致性
- 数据质量评估：评估数据的质量
6. 高级处理功能
- 数据去重：去除重复数据
- 数据补全：补全缺失数据
- 数据清洗：清洗数据问题
- 聚合报告：生成数据聚合报告
使用示例
输出示例
{
"source_info": {
"source_count": 5,
"source_types": ["database", "api", "file"],
"aggregation_strategy": "merge"
},
"data_sources": [
{
"source_id": "SRC001",
"source_type": "database",
"source_name": "financial_db",
"status": "connected",
"records_count": 10000
},
{
"source_id": "SRC002",
"source_type": "api",
"source_name": "market_data_api",
"status": "connected",
"records_count": 5000
}
],
"aggregation_config": {
"aggregation_mode": "merge",
"key_fields": ["stock_code", "trade_date"],
"merge_strategy": "outer",
"conflict_resolution": "latest"
},
"aggregation_results": {
"total_records": 15000,
"merged_records": 12000,
"duplicate_records": 3000,
"aggregation_time": "2024-03-15T10:00:00",
"duration": "60s"
},
"aggregated_data": {
"sample_records": [
{
"stock_code": "000001",
"trade_date": "2024-03-15",
"price": 10.50,
"volume": 1000000,
"source": ["SRC001", "SRC002"]
}
]
},
"data_quality": {
"completeness": 0.98,
"accuracy": 0.97,
"consistency": 0.96,
"overall_score": 0.97
},
"statistics": {
"sources_processed": 5,
"records_aggregated": 12000,
"aggregation_rate": "200 records/s",
"success_rate": 0.98
}
}
注意事项与限制
1. 数据源要求
- 数据源需要稳定可靠
- 连接信息需要准确
- 数据格式需要兼容
2. 数据聚合性能
- 多数据源可能影响性能
- 大数据量可能影响速度
- 需要合理设置聚合策略
3. 数据一致性
- 不同数据源数据可能不一致
- 需要处理数据冲突
- 需要验证数据一致性
4. 数据质量
- 数据质量影响聚合结果
- 需要验证数据完整性
- 异常数据需要处理
5. 使用限制
- 本 Skill 不包含数据源管理功能
- 聚合结果需要人工复核
- 复杂聚合可能需要特殊处理
参考资料
- 见 references/ 目录中的相关文档，包括：
- 多源数据聚合方法手册
- 数据源配置指南
- 数据聚合策略说明
- 性能优化指南