user-corpus-explorer — 用户资料库索引
何时使用
external/user-corpus/存在用户自带参考材料。pipeline 00对该域决策不是skip。pipeline 01intake 结束前需要生成用户资料索引。
设计原则
- 由 subagent 执行,不污染主对话上下文。
- 每次覆盖生成
external/user-corpus/AGENTS.md。 - 失败不打断主 pipeline。
- 不上传全文到外部服务。
扫描范围
递归扫描 external/user-corpus/,跳过:
.gitkeepREADME.mdAGENTS.md.corpus_index.json.git/、.cache/、以.开头的目录- 大于 200MB 的文件只记录路径和大小
读取策略
| 扩展名 | 策略 |
|---|---|
.md .txt |
读全文,超长读首尾 |
.pdf |
MinerU → pdf → pdfplumber,长文仅读首 15 页和末 5 页 |
.docx |
docx 提取文本 |
.html |
Jina Reader 或 BeautifulSoup |
| 图片 | 视觉描述 |
| 其他二进制 | 只记录元信息 |
输出
生成:
external/user-corpus/AGENTS.md
external/user-corpus/.corpus_index.json
AGENTS.md 包含 inventory、per-file index、cross-cutting topics、recommendations、limitations。
下游衔接
- modeler 必读 recommendations,并在
modeling_plan.md标注参考来源。 - writer 可优先把 corpus 中可验证 DOI 的论文列入参考候选。
- coder 不直接读 corpus,除非 modeler 在计划中转述其方法。
失败诊断
| 情况 | 处理 |
|---|---|
| corpus 目录为空 | 写空索引,pipeline 继续 |
| 单文件读取失败 | 在 limitations 记录 |
| MinerU 不可用 | 降级 pdf → pdfplumber |
| 总耗时超过 5 分钟 | 写已完成索引,剩余标 unread |