aifinlab 时间序列数据整理 Skill
数据来源
本 Skill 支持多种时间序列数据输入格式，核心数据来源包括：
1. 数据源类型
- 数据库：SQL数据库、NoSQL数据库
- API接口：REST API、GraphQL API
- 文件数据：CSV文件、Excel文件、JSON文件
- 流式数据：Kafka、RabbitMQ等消息队列
2. 时间序列类型
- 金融时间序列：股价、汇率、利率等金融数据
- 业务时间序列：销售额、用户数、订单数等业务数据
- 监控时间序列：系统指标、性能指标等监控数据
- 传感器时间序列：温度、湿度、压力等传感器数据
3. 数据格式要求
- 时间字段：日期时间字段、时间戳字段
- 数值字段：数值型数据字段
- 数据频率：日度、周度、月度、年度等不同频率
- 数据完整性：需要包含时间序列的基本信息
4. 数据特征
- 数据规模：小数据集（<1000条）、大数据集（>100万条）
- 数据质量：完整数据、缺失数据、异常数据
- 时间范围：短期数据、长期数据、历史数据
- 数据格式：标准格式、非标准格式
说明：本 Skill 不包含数据采集功能，需要用户提供时间序列数据。建议数据包含完整的时间信息，以便进行准确的数据整理。
功能
本 Skill 提供全面的时间序列数据整理能力，涵盖多种整理功能：
1. 数据清洗
- 缺失值处理：识别和处理缺失值
- 异常值检测：检测和处理异常值
- 重复值处理：识别和处理重复值
- 数据格式转换：转换数据格式和类型
2. 时间标准化
- 时间格式统一：统一时间格式
- 时区处理：处理时区转换
- 时间频率转换：转换时间频率
- 时间对齐：对齐不同时间序列的时间
3. 数据标准化
- 数值标准化：标准化数值数据
- 单位统一：统一数据单位
- 精度处理：处理数据精度
- 数据归一化：归一化数据范围
4. 数据补全
- 缺失值填充：填充缺失值
- 插值处理：使用插值方法补全数据
- 外推处理：使用外推方法补全数据
- 数据重建：重建缺失的数据点
5. 数据验证
- 数据完整性验证：验证数据的完整性
- 数据准确性验证：验证数据的准确性
- 数据一致性验证：验证数据的一致性
- 数据质量评估：评估数据的质量
6. 高级处理功能
- 数据转换：转换数据格式和结构
- 数据聚合：聚合时间序列数据
- 数据采样：采样时间序列数据
- 数据报告：生成数据整理报告
使用示例
输出示例
{
"source_info": {
"data_source": "database",
"table_name": "stock_prices",
"time_field": "trade_date",
"value_field": "close_price",
"total_records": 10000
},
"cleaning_results": {
"missing_values": {
"count": 50,
"percentage": 0.5,
"handled": true,
"method": "forward_fill"
},
"outliers": {
"count": 20,
"percentage": 0.2,
"detected": true,
"method": "iqr",
"removed": false
},
"duplicates": {
"count": 10,
"percentage": 0.1,
"removed": true
}
},
"standardization_results": {
"time_format": {
"original": "YYYY-MM-DD",
"standardized": "YYYY-MM-DD",
"timezone": "UTC"
},
"value_format": {
"original_unit": "元",
"standardized_unit": "CNY",
"precision": 2
},
"frequency": {
"original": "daily",
"standardized": "daily",
"aligned": true
}
},
"data_quality": {
"completeness": 0.995,
"accuracy": 0.98,
"consistency": 0.97,
"overall_score": 0.98
},
"cleaned_data": {
"total_records": 9990,
"time_range": {
"start": "2024-01-01",
"end": "2024-12-31"
},
"sample_data": [
{
"time": "2024-01-01",
"value": 100.50,
"quality": "good"
},
{
"time": "2024-01-02",
"value": 101.20,
"quality": "good"
}
]
},
"statistics": {
"processing_time": "5.2s",
"records_processed": 10000,
"records_cleaned": 9990,
"records_removed": 10
}
}
注意事项与限制
1. 数据质量要求
- 数据需要包含时间信息
- 时间格式需要可识别
- 数值数据需要有效
2. 缺失值处理
- 不同处理方法结果可能不同
- 需要根据业务场景选择方法
- 缺失值过多可能影响结果
3. 异常值处理
- 异常值检测方法需要选择
- 异常值可能是真实数据
- 需要结合业务判断处理
4. 时间标准化
- 时间格式需要统一
- 时区处理需要正确
- 时间频率转换可能丢失信息
5. 使用限制
- 本 Skill 不包含数据分析功能
- 整理结果需要人工复核
- 复杂数据可能需要人工处理
参考资料
- 见 references/ 目录中的相关文档，包括：
- 时间序列数据整理方法手册
- 缺失值处理方法说明
- 异常值检测算法指南
- 性能优化指南