QC11_FieldNullValueCheck

QC11_FieldNullValueCheck 字段空值检查Skill

功能概述

本skill用于检查指定字段是否存在空值（NULL/NA），识别并标记存在空值的数据点。

触发条件

当用户请求以下任务时，应使用此skill：

• 空值检查
• 字段空值校验
• 缺失值检查
• NULL值检查
• 检查字段是否有空值
• 数据完整性检查

处理逻辑

1. 读取输入的被检验数据
2. 解析需要检查的字段列表（逗号分隔）
3. 检查指定字段是否存在空值
4. 为存在空值的记录添加质控标识
5. 输出处理后的数据文件

支持的文件格式

• CSV (.csv)
• TSV (.tsv)
• Excel (.xls, .xlsx)
• SPSS (.sav)

使用方法

步骤1：获取用户输入输出路径及参数

向用户确认：

1. 输入文件路径
2. 输出文件路径
3. 检查字段名（逗号分隔）
4. 质控标识
5. 质控标识字段名（默认：QC0000）
6. 唯一ID字段名（默认：ID0000）

步骤2：执行字段空值检查脚本

在 scripts/ 目录下找到 QC11_FieldNullValueCheck.py，使用Python执行：

python scripts/QC11_FieldNullValueCheck.py \
    --input_path <输入文件> \
    --output_path <输出文件> \
    --check_fields_name "<检查字段>" \
    --qc_mark "<质控标识>" \
    --mark_field_name <质控字段名> \
    --id_field_name <ID字段名>

步骤3：返回结果

告知用户处理完成，显示处理数据条数和异常数据条数。

参数说明

输出示例

[OK] Using encoding GB2312 successfully read CSV file
Successfully read file: /path/to/input.csv, shape: (1000, 18)
Null value check completed! Processed 1000 records, abnormal records: 25, output to: /path/to/output.csv
Script executed successfully!

注意事项

1. 检查字段名用逗号分隔，可以同时检查多个字段
2. 任意指定字段为空则标记为异常
3. 质控标识会追加到原有的质控标识字段中，用分号分隔