aifinlab 结构化数据接入 Skill
数据来源
本 Skill 支持多种结构化数据源输入格式，核心数据来源包括：
1. 数据源类型
- 数据库：MySQL、PostgreSQL、Oracle、SQL Server等关系型数据库
- API接口：REST API、GraphQL API、SOAP API
- 表格文件：CSV文件、Excel文件、TSV文件
- 数据仓库：数据仓库、数据湖
2. 数据结构类型
- 关系型数据：表结构数据、关系数据
- 键值数据：键值对数据、字典数据
- JSON数据：JSON格式的结构化数据
- XML数据：XML格式的结构化数据
3. 数据格式要求
- 连接信息：数据库连接字符串、API端点地址
- 认证信息：用户名密码、API密钥、Token
- 查询信息：SQL查询语句、API请求参数
- 数据格式：数据格式和编码方式
4. 数据特征
- 数据规模：小数据集（<1万条）、大数据集（>100万条）
- 数据更新频率：实时更新、定时更新、批量更新
- 数据完整性：完整数据、部分数据
- 数据质量：高质量数据、低质量数据
说明：本 Skill 不包含数据源配置功能，需要用户提供数据源连接信息。建议数据源稳定可靠，以便进行准确的数据接入。
功能
本 Skill 提供全面的结构化数据接入能力，涵盖多种接入功能：
1. 数据源连接
- 数据库连接：连接各类关系型数据库
- API连接：连接各类API接口
- 文件读取：读取各类表格文件
- 连接管理：管理数据源连接
2. 数据查询
- SQL查询：执行SQL查询语句
- API请求：发送API请求获取数据
- 文件读取：读取文件数据
- 查询优化：优化查询性能
3. 数据提取
- 数据提取：从数据源提取数据
- 增量提取：增量提取数据
- 全量提取：全量提取数据
- 批量提取：批量提取数据
4. 数据转换
- 格式转换：转换数据格式
- 结构转换：转换数据结构
- 编码转换：转换数据编码
- 类型转换：转换数据类型
5. 数据验证
- 数据完整性验证：验证数据的完整性
- 数据准确性验证：验证数据的准确性
- 数据一致性验证：验证数据的一致性
- 数据质量评估：评估数据的质量
6. 高级处理功能
- 数据缓存：缓存数据提高性能
- 数据同步：同步数据源数据
- 错误处理：处理数据接入错误
- 接入报告：生成数据接入报告
使用示例
输出示例
{
"source_info": {
"source_type": "database",
"source_name": "financial_db",
"connection_string": "mysql://user:pass@host:3306/db",
"table_name": "stock_prices"
},
"ingestion_config": {
"extraction_mode": "incremental",
"time_field": "trade_date",
"last_sync_time": "2024-03-14T10:00:00",
"batch_size": 1000
},
"ingestion_results": {
"total_records": 5000,
"new_records": 500,
"updated_records": 4500,
"failed_records": 0,
"ingestion_time": "2024-03-15T10:00:00",
"duration": "30s"
},
"data_sample": [
{
"trade_date": "2024-03-15",
"stock_code": "000001",
"open_price": 10.50,
"close_price": 10.80,
"volume": 1000000
}
],
"data_quality": {
"completeness": 1.0,
"accuracy": 0.99,
"consistency": 0.98,
"overall_score": 0.99
},
"statistics": {
"records_ingested": 5000,
"records_failed": 0,
"ingestion_rate": "166.7 records/s",
"success_rate": 1.0
}
}
注意事项与限制
1. 数据源要求
- 数据源需要稳定可靠
- 连接信息需要准确
- 认证信息需要有效
2. 数据接入性能
- 大数据量可能影响性能
- 网络延迟可能影响速度
- 需要合理设置批处理大小
3. 数据质量
- 数据质量影响接入结果
- 需要验证数据完整性
- 异常数据需要处理
4. 错误处理
- 连接错误需要重试机制
- 数据错误需要记录日志
- 需要监控接入状态
5. 使用限制
- 本 Skill 不包含数据源管理功能
- 接入结果需要人工复核
- 复杂数据源可能需要特殊处理
参考资料
- 见 references/ 目录中的相关文档，包括：
- 结构化数据接入方法手册
- 数据源连接配置指南
- 数据转换规则说明
- 性能优化指南