cas-bigdatalab ingest_archive_zip_preview — ZIP 压缩包预览
功能概述
递归扫描目录内 .zip 文件，列出每个压缩包内部文件清单，对文本文件输出前 N 字节预览（UTF-8 解码失败则输出 hex）。输出 JSON 报告供后续解压或采集流程决策。
触发条件
- 采集入口收到一批 zip 文件，需要先查看内容再决定解压策略
- 需要批量盘点压缩包内的文件结构
- 需要在解压前预检文本文件编码和内容片段
核心参数
| 参数 | 说明 | 默认值 |
|---|---|---|
--input_dir |
待扫描目录（递归） | 必填 |
--output |
预览报告输出路径 | 必填 |
--max_entries |
每个压缩包最多列出的文件数，0 表示全部 |
0 |
--preview_bytes |
文本文件预览字节数 | 200 |
使用方法
python scripts/run_ingest_archive_zip_preview.py \
--input_dir <input_dir> \
--output <output> \
--max_entries 0 \
--preview_bytes 200
输出示例
{
"items": [
{
"path": "data/batch01.zip",
"type": "zip",
"total_entries": 5,
"entries": [
{"name": "readme.txt", "size": 128, "is_dir": false, "preview": "This is a sample..."},
{"name": "images/", "size": 0, "is_dir": true}
]
}
],
"summary": {"total_archives": 1, "errors": 0}
}
环境要求
使用 Python 标准库 zipfile，无需额外依赖。