cas-bigdatalab Privacy Token Remover 隐私标识清理 Skill
功能概述
按用户指定类别移除或替换文本中的隐私标识：
- 邮箱地址
- IPv4 地址
- 电话号码
所有类别默认关闭，需要用户显式用开关开启。
触发条件
- 需要在结构化文本字段中删除邮箱、IP、电话等隐私标识。
- 需要在发布、共享或训练前对文本 token 做轻量清理。
核心参数说明
必需参数
--input_path：输入文件路径--output_path：输出文件路径
可选参数
--remove_email：开启邮箱移除--remove_ip：开启 IPv4 地址移除--remove_phone：开启电话号码移除--text_columns：处理的文本列，逗号分隔；默认全部字符串列--replace_token：替换占位符；默认空字符串表示直接删除
输入文件格式
支持 CSV、TSV、XLS、XLSX、SAV 格式的结构化数据。
不支持的文件格式会直接报错拒绝，不会自动猜测格式；如需处理其他格式，请先转换为以上支持格式后再使用本 skill。
使用方法
# 只移除邮箱
python scripts/run_privacy_token_remover.py \
--input_path data.csv \
--remove_email \
--output_path cleaned.csv \
--replace_token "[REMOVED]"
# 同时移除邮箱和IP
python scripts/run_privacy_token_remover.py \
--input_path data.csv \
--remove_email --remove_ip \
--output_path cleaned.csv
输出示例
输入 Contact alice@example.com from 192.168.1.10
使用 --remove_email --remove_ip --replace_token "[HIDDEN]" 后输出：
Contact [HIDDEN] from [HIDDEN]
环境要求
使用项目 Python 环境运行，依赖 pandas 和共享 data_io 读写工具。
注意事项
- 所有类别默认关闭，用户必须用
--remove_email/--remove_ip/--remove_phone显式开启。 - IP 规则只覆盖 IPv4，不覆盖 IPv6。
- 电话规则覆盖常见连续数字和 3-3/4-4 位分段格式。
- 只处理选中的文本列，其他列保持原样。