Lowinfo Filter

lowinfo_filter 低信息量过滤

cas-bigdatalab d6f2916 4 files · 11.1 KB Updated

File contents

lowinfo_filter 低信息量过滤

功能概述

  • 按字符数/行数上下限过滤低/高信息样本。
  • 支持多列检测,默认所有字符串列。

参数说明

参数 必填 默认值 说明
--input_path 输入文件路径(支持CSV/TSV/Excel等)
--output_path 输出文件路径(过滤后的文件)
--text_columns 需检测的文本列,逗号分隔;不填默认全部字符串列
--min_chars 最小字符数,默认 10
--max_chars 最大字符数(0 表示不限),默认 2000
--min_lines 最小行数,默认 1
--max_lines 最大行数(0 表示不限),默认 200

使用方法

python scripts/lowinfo_filter.py \
  --input_path <输入文件> \
  --output_path <输出文件> \
  [--text_columns col1,col2] \
  [--min_chars 10] [--max_chars 2000] \
  [--min_lines 1] [--max_lines 200]

输出说明

  • 仅保留满足阈值的行;过滤掉的行不输出。
  • 控制台提示输出行数与原始行数。

注意事项

  • 合理设置 min/max,避免过度过滤。
  • 若需保留原因,可调整脚本保留 filter_reason 列(当前实现剔除)。

cas-bigdatalab/piflow/tree/main/workspace/skills/lowinfo_filter commit d6f2916bd1

Frequently asked questions

npx skillmds@latest add cas-bigdatalab/lowinfo-filter