cas-bigdatalab Data Split By Field 按字段拆分数据 Skill
功能概述
本skill用于根据指定字段的值将结构化表格拆分为多个文件。每个唯一的字段值会生成一个独立的输出文件， 文件名包含字段值以便识别。
触发条件
当用户请求以下任务时，应使用此skill：
- 按字段拆分数据
- 分组导出
- 分类导出
- 数据分片
- 按某列值分割文件
核心参数说明
必需参数
--input：输入文件路径--output_dir：输出目录路径--split_field：用于拆分的字段名
可选参数
--output_prefix：输出文件名前缀，默认split--output_format：输出文件格式，默认csv--use_dask：是否使用Dask处理大数据，默认False--blocksize：Dask分块大小，默认64MB
输入文件格式
输入文件可以是 CSV、TSV、Excel 或 SPSS 文件，且必须包含 split_field 对应的列。
使用方法
python scripts/run_data_split_by_field.py --input data.csv --output_dir ./output --split_field category
输出示例
[OK] Data split completed!
Engine: pandas
Input file: data.csv
Split field: category
Total rows: 1000
Unique values: 5
Output files:
- ./output/split_cat1.csv (200 rows)
- ./output/split_cat2.csv (300 rows)
环境要求
- Python 3.10+
- pandas
- openpyxl、xlrd、pyreadstat 等按输入格式需要安装
- 可选：dask
注意事项
- 拆分字段必须存在于数据中
- 输出文件名格式为：
{prefix}_{field_value}.{format} - 字段值中的特殊字符会被替换为下划线
- 输出目录不存在时会自动创建