Interview Collector

多平台面经采集（聚合编排）

定位：编排层 + 自带依赖。 牛客接口逆向与 Chrome/CDP 基建已内联到 scripts/vendor/（149 KB），换设备只需复制目录，无需外部 skill、无需 MCP。 本 skill 的增量价值在跨平台归一、去重、分级、题目抽取、聚类与排期。

要新增采集源时，先读 site-reverse-recon skill —— 那里有五步递进探测流程、 真伪成功判别、字段覆盖率验证清单，能避免写出跑不起来的死代码。

零之前、自带依赖，换设备只需复制目录

本 skill 自带全部依赖（scripts/vendor/，约 149 KB）， 不需要外部 skill 目录、不需要 MCP、不需要专门建 venv。

换设备两步走

# 1) 复制整个 interview-collector 目录到 ~/.workbuddy/skills/
# 2) 确保 python 能 import requests
python doctor.py     # 体检，确认「依赖来源: vendor（内联）」

免登录源（牛客 + B站）到这一步就能用。浏览器源（知乎/小红书/博客园） 再加 Chrome + 登录一次即可。

vendor 内容与来源

上游项目：https://github.com/xpzouying/xiaohongshu-skills

deps.py 负责把 vendor/ 加入 sys.path。想改用外部 skill 目录（比如想跟 上游更新）时设 IC_PREFER_EXTERNAL=1，它会优先找 ~/.workbuddy/skills/。

真正的外部要求（只有两项）

为什么不用 MCP

本 skill 零 MCP 依赖，是有意的选择：MCP 要配 ~/.workbuddy/mcp.json 并手动点信任，换设备迁移成本更高；内联脚本复制即用。

登录态的生命周期（别被 Chrome 退出吓到）

保活守护到期、Chrome 关闭都不会让你重新登录，重起 Chrome 即恢复。 doctor.py 里「Chrome 端口未启动」标为 OK 而非 WARN，就是因为 按需启动是正常状态，不是问题。

零、完整流水线与脚本索引

[体检]  doctor.py                    环境依赖自检（换设备后第一步）
        rebuild.py --check           题库五项缺陷指标，交付前必须全 0
           ↓
[依赖]  deps.py                      把 vendor/ 加入 sys.path（自动）
        vendor/                      内联依赖：nowcoder_api + chrome_launcher + xhs/*
           ↓
[准备]  login_all.py --keepalive     浏览器源登录 + Chrome 保活
        xhs_login_watch.py           小红书扫码长时监听（二维码自动续期）
           ↓
[采集]  collect.py                   五源采集主入口（--check 先体检源可用性）
        sources/{nowcoder,bilibili,zhihu,xhs,cnblogs}.py
           ↓
[归一]  normalize.py                 schema/去重/过滤链/三档分级/题目抽取
        keywords.py                  关键词矩阵 + 各类词表
        output.py                    md / json / txt 三件套
           ↓
[合并]  merge.py                     多批次合成总库（跨批去重）
           ↓
[消费]  cluster.py                   22 域知识点分布（复习地图）
        plan.py                      分域刷题计划（可打勾 checklist）
           ↓
[深挖]  xhs_detail.py                补小红书正文（CLI 路径，易风控）
        xhs_note_images.py           CDP 取图（推荐，绕开风控）
        xhs_images.py                走详情接口取图（备选）
        → 然后用 Read 工具直接读 PNG 提取题目
[部门]  collect_dept.py              部门信息采集（不限于面经，跳面经过滤+相关性过滤）
        merge_dept.py                多批合并 + 四档标注
        finalize_dept.py             二次清洗 + 五档精确标注（剔游戏/电商误命中）

典型完整流程（含浏览器源）

# 0) 换设备后先体检依赖
$PY doctor.py
# 1) 后台起 Chrome 保活（长任务必做）
HOLD_MINUTES=90 $PY login_all.py --keepalive &
# 2) 采集
$PY collect.py --topic "安全" --max-kw 30 --days 1095 --outdir D:/out  # 默认五源全开
# 3) 体检 + 合并 + 消费
$PY rebuild.py D:/out --check
$PY merge.py   D:/out --topic 总库
$PY cluster.py D:/out/题库_总库_YYYYMMDD.json
$PY plan.py    D:/out/题库_总库_YYYYMMDD.json --days 14 --hours 2

零·五、部门信息采集（不限于面经）

要采集某公司/部门的所有相关信息（岗位 JD、团队介绍、技术文章、招聘、面经）， 而非只采面经时，用 collect_dept 三件套。与 collect.py 的区别是跳过面经专属过滤 （require_exp_signal / filter_clickbait / grade 三道，它们会把岗位介绍/技术文章误砍掉）， 改为「部门相关性过滤」（HARD 强相关词直接保留 + SOFT 弱相关词须命中语境词）。

# 1) 定向采集（--extra 关键词 + --sources 指定源；--days 放宽到 1095 覆盖更久）
$PY collect_dept.py --topic "阿里安全资源情报" --outdir D:/out \
    --extra "阿里归零实验室,阿里黑灰产,阿里威胁情报,资源情报,..." \
    --sources all --days 1095 --wait-login 0
# 2) 多批合并 + 四档标注
$PY merge_dept.py D:/out --topic 阿里安全资源情报
# 3) 二次清洗（剔游戏/电商/期刊误命中）+ 五档精确标注
$PY finalize_dept.py D:/out

必踩坑（实测 2026-09-05）：

• 关键词「资源情报」「情报」「溯源」会大量误命中：游戏（《暗区突围》赛季概览）、 商品防伪溯源（热玛吉/驼奶粉）、商业竞争情报、求职机构软文。finalize_dept.py 的 EXCLUDE 词表专门剔这些，且 intel_info 档要求标题命中「安全溯源/威胁情报」强信号才保留。
• 五档标注：①本部门面经 ②阿里/情报岗面经 ③本部门岗位信息（JD/团队/技术） ④同类岗位面经真题 ⑤同类岗位技术文章 —— 直接回答「哪些是这部门的面经、哪些是岗位通用信息」。
• 五源全量跑一遍：免登录源约 5 分钟，浏览器源（小红书翻屏）约 37 分钟，务必后台 + 保活。

一、快速开始

PY="$HOME/.workbuddy/skills/xiaohongshu-skills/.venv/Scripts/python.exe"   # Windows
cd "$HOME/.workbuddy/skills/interview-collector/scripts"

$PY collect.py --check                        # 先体检各源可用性
$PY collect.py --topic "安全" --outdir D:/out  # 默认五源全开；未登录的浏览器源自动跳过（[skip]）
$PY collect.py --topic "安全" --sources nowcoder,bilibili --outdir D:/out  # 只跑免登录源（未登录浏览器源时更快）
$PY collect.py --topic "安全" --extra "MCP安全,Agent越权" --days 365 --outdir D:/out

关键参数：--sources（逗号分隔，all 为全部）、--max-kw（关键词上限，默认 48）、 --max-page（每词页数，默认 8）、--days（时间窗，默认 730）、--keep-c（保留 C 档）。

依赖：只需 requests。复用 xiaohongshu-skills 的 venv 最省事； 也可自建：uv venv --python 3.12 && uv pip install requests websockets。

二、五个源的实测账本

默认五源全开 + 自动引导登录（2026-09-05 起）：

• 源优先级：牛客 → 小红书 → B站 → 知乎 → 博客园（用户指定：牛客是笔试复盘主阵地、小红书独家公司最多，两者优先）。
• 采集深度默认已拉满：--max-kw 80（关键词矩阵全覆盖）、--max-page 12（牛客每词约 240 条）；浏览器源的关键词数与查询数对齐（避免源内保守默认截断召回），知乎翻页硬性 clamp ≤4 页防风控；cnblogs 已放开至 30 词 4 页（登录态下可正常采集；首次使用需在 Chrome 里点一次人机验证）。
• 浏览器源未登录时，collect.py 默认自动拉起 Chrome 登录窗口（--wait-login，默认等 10 分钟）并每 20 秒探测登录态（小红书 cookie 文件、知乎 CDP tab），检测到登录后自动继续采集；超时则未登录源跳过（--wait-login 0 关闭等待）。
• 注意：登录等待发生在所有源采集之前（免登录源也会等）。
• 探测细节：小红书看 ~/.xhs/cookies.json 是否含 web_session；知乎看 CDP tab 是否已离开 /signin；博客园只点人机验证、无外部信号，由适配器采集时自行判断。
• 定向采集用 --only-extra：只用 --extra 的关键词（美团笔试这类定向任务必备，否则通用岗位线会占满 max-kw 配额）。

⛔ 运行纪律：禁止因未登录而只用免登录数据源（agent 必读）

这是硬性纪律，不是建议。 知乎/小红书等登录源实测贡献了入选数据的 76%（763 条中占 580+），跳过它们等于丢掉大半数据、还漏掉独家内容。

agent 执行采集时必须遵守：

1. 未登录 ≠ 跳过。浏览器源未登录时，标准动作是走 --wait-login 流程：拉起 Chrome 登录窗口 → 明确告知用户"请在 Chrome 里完成知乎/小红书/博客园登录，我在等待" → 等待窗口内每 20 秒探测 → 登录后自动继续。
2. 等待超时后不许默默降级。超时仍有源未登录时，必须停下来向用户说明："知乎/小红书未登录，以下数据会缺失/覆盖不全"，并给出选择：继续等待登录补采，或用户明确同意后以免登录源降级跑。不得自行决定用 --wait-login 0 或 --sources nowcoder,bilibili 糊弄过去。
3. 降级例外只有一种：用户主动明确表示"不用登录/跳过浏览器源/只要快速结果"。此时在回复中注明本次数据覆盖范围缩水（缺知乎/小红书/博客园）。
4. 事后补救优先于将错就错。如果已经用免登录源跑完，发现数据明显偏少，应主动建议完成登录后重跑（登录一次长期有效，成本很低）。

--wait-login 0 与 --sources 裁剪仅限上述例外场景使用；它们是逃生口，不是默认路径。

• 小红书深度与时间窗（2026-09-05 起）：每词滚动翻页 --xhs-scroll 4（首屏+4 屏，实测单词 raw 84 条 vs 旧版首屏 20~45）；发布时间筛选改为不限——面板没有"一年内"选项，25/26 年内容的时裁交给 normalize 时间窗（--days）完成，要覆盖 25/26 年发布请把 --days 设 ≥400。

五源全量实测（8 词 / 2 页 / 1095 天，约 11 分钟）

原始 1183 → 去重 1135 → 去噪声 1084 → 面经信号 748 → 标题党 743
   → 去非技术岗 738 → 时间窗 554 → 入选 293（A 80 / B 213）→ 题目 215
分源入选：知乎 194、小红书 50、牛客 43、B站 5、博客园 1

重要修正：早前判断「博客园即使用浏览器也过不去人机验证」是错的 —— 只要人工在 Chrome 里点一次验证，之后同 profile 内的请求都能正常返回结果。 不要因为首次遇到验证页就把这个源判死。

三、人工登录流程（一次登录长期有效）

cd "$HOME/.workbuddy/skills/interview-collector/scripts"
HOLD_MINUTES=60 "$PY" login_all.py            # 后台跑：打开三站点并常驻 Chrome
WATCH_MINUTES=25 QR_EXPORT_DIR=D:/out \
    "$PY" xhs_login_watch.py                  # 小红书专用：长时监听 + 二维码续期
HOLD_MINUTES=90 "$PY" login_all.py --keepalive  # 长时间采集期间纯保活

长时间采集（>10 分钟）务必同时开保活守护： --keepalive 模式不开新 tab、只监控端口，掉线自动重启 Chrome。 否则浏览器源会在采集中途失去连接（实测四源 8 词就要 11 分钟， 五源 30 词超过 30 分钟）。

login_all.py 在同一个 Chrome（持久化 profile ~/.xhs/chrome-profile）里 开好小红书 / 知乎 / 博客园三个 tab，然后阻塞常驻，等你操作：

1. 小红书 —— 扫码。cli.py wait-login 只等 2 分钟，建议用 xhs_login_watch.py（25 分钟 + 二维码每 100 秒自动续期）
2. 知乎 —— 扫码或密码登录（标题出现「N 封私信」即成功）
3. 博客园 —— 点一次人机验证，无需账号

验证真登录（不能只看 logged_in 字段，旧 cookie 会残留）：

• 小红书：~/.xhs/cookies.json 的 mtime 是否为刚才；关键 cookie 应含 web_session
• 知乎：标签标题是否变成「(N 封私信) 首页 - 知乎」

一键核对脚本：

python -c "
import os,json,time
ck=os.path.expanduser('~/.xhs/cookies.json')
m=os.path.getmtime(ck)
print('mtime:',time.strftime('%H:%M:%S',time.localtime(m)),'| now:',time.strftime('%H:%M:%S'))
d=json.load(open(ck,encoding='utf-8'))
n=[c['name'] for c in (d if isinstance(d,list) else d.get('cookies',[]))]
print('cookies:',len(n),'| web_session:', 'web_session' in n)
"

登录成功后务必明确告知用户，不要让他重复扫码。 实测教训：小红书 18:23 就登录成功并采到 50 条，但因为回复里没写清状态， 用户在 1 小时后又问「我扫完了」—— 这是表述问题造成的无谓等待。 每次登录动作结束后，直接给出「已登录 / 未登录 + 判断依据」的明确结论。

登录完成后 --sources 里带上对应源即可。agent 环境下 login_all.py 必须作为后台常驻任务跑着不退出，否则 Chrome 会被回收（见坑 #29）。

四、必踩的坑（务必先看）

五、质量体检与重算

改动 normalize.py 后，用 rebuild.py 体检并修复历史产物：

python rebuild.py <outdir> --check          # 只体检，列出缺陷明细
python rebuild.py <outdir>                  # 用当前逻辑重算并覆盖三件套
python rebuild.py <outdir> --topic 安全      # 只处理指定方向

它读取已有 JSON 里的 posts（原始采集数据），用最新过滤器重算题库， 无需重跑网络采集。输出示例：

体检 3 份题库（只读）
  [AI安全] 题库 109 -> 109 | 缺陷 0 -> 0  OK
  [安全] 题库 66 -> 66 | 缺陷 0 -> 0  OK
  [安全与AI安全] 题库 445 -> 445 | 缺陷 0 -> 0  OK

五项缺陷指标：关键词噪声 / 裸数字开头 / 多句段落 / 疑似碎片 / 前导标点。 交付前必须全部为 0。

六、多批次合并成总库

多次采集会产出多份题库，彼此高度重叠。用 merge.py 合成一份总库：

python merge.py <outdir> --topic 总库
python merge.py <outdir> --topic 总库 --exclude 端到端验证

去重策略：

• 帖子：uid 精确 + 标题 SimHash 近似（复用 normalize.dedup）
• 题目：全文归一化精确 + 前 24 个归一化字符近似（吸收表述末尾差异）
• 同一道题命中多个帖子时合并 all_sources 列表而非丢弃， 并按来源数降序排列 —— 多源出现说明该题更高频，值得优先看

实测（5 份题库）：

合并前 1198 帖 / 1300 题 → 合并后 469 帖 / 484 题（重复率约 62%）
分源：知乎 232、牛客 117、小红书 67、B站 51、博客园 2

注意：多源命中的题只有 5 道，这是真实情况不是 bug —— 各平台面经的题目表述差异很大，真正字面重合的极少。

七、知识点聚类（把题库变成复习地图）

python cluster.py <题库json> [--out <md路径>]

按安全领域术语规则聚类到 22 个知识域，输出分布总览 + 复习优先级 + 各域题目清单（带来源链接）。

为什么用规则而非 embedding：安全术语边界清晰（SQL注入/XSS/SSRF 各自明确）， 规则命中准确、可解释、可审计；题目短（中位 31 字）时 embedding 聚类不稳定 且无法说明归类依据。

实测分布（总库 433 道）：

渗透测试方法论 70 (16.2%)  系统与运维安全 41   编程与开发基础 41
HR 与软技能 37             安全管理与制度 30   XSS/CSRF 27
网络与协议 27              权限与认证 26       内网渗透 25
安全防护与检测 25          SSRF/文件类 21      绕过与对抗 21
反序列化/RCE 20            密码学 20           注入类 16
应急响应 12                AI与大模型安全 11   数据安全与合规 8
游戏与业务安全 7           算法手撕 5          逆向底层 4
其他·未归类 133 (30.7%)

未归类率是词表质量的度量：初版 49.9% → 补噪声规则与分类词表后 27.7%。 调优方法：抽样未归类池，区分「漏掉的真题」（补 DOMAINS 词表）与 「漏掉的噪声」（补 _Q_NOISE_WORDS）。实测未归类池里约 2/3 是噪声。

八、生成分域刷题计划

python plan.py <题库json> --days 14 --hours 2
python plan.py <题库json> --days 7 --hours 3 --out D:/out/冲刺.md

输出可打勾的 checklist（每题带原帖链接），含优先级总览与每日安排。

三个必须注意的设计点（都是实测踩出来的）

未归类打散穿插：未归类 118 道若按序排会独占 Day10~14 五天 —— 这批题最杂、最难聚焦，连续刷五天效率低。spread_other() 把它均分成小块 插到各核心域之后，让每天都是「主攻一个域 + 少量杂题」。

九、补齐小红书正文（拿到真题）

python xhs_detail.py <题库json> --filter AI安全 --limit 15
python xhs_detail.py <题库json> --ids id1,id2

搜索接口无正文导致小红书产出 0 题，本脚本逐条调 get-feed-detail 补正文。 实测 9 条 AI 安全帖全部成功，抽出 19 道真题，包括：

• 阿里控股 AI 安全一面完整追问链：MCP server 介绍 → MCP 实践 → function call 与 MCP 区别 → 正反数据集为何 1:1 → 微调基座模型 → 为何不用多模态 → paddleOCR
• 带考频统计的题：「考过 412 次，占比约 7.6%，极高频」
• 具体评测基准：TruthfulQA / HellaSwag / Anthropic Harmlessness Benchmark

成本：约 24 秒/条（子进程 + CDP 重连），只适合定向抓高价值帖，不宜全量。

十、图片题目提取（模型读图，非 OCR）

小红书大量面经把题目做成图片长文，正文只有开头几道。取图与识别分两步：

# 推荐：CDP 读页面路径（绕开 get-feed-detail 风控，实测 100% 成功）
python xhs_note_images.py <题库json> --filter AI安全 --outdir D:/out/笔记图片

# 备选：走 CLI 详情接口（易触发风控）
python xhs_images.py <题库json> --filter AI安全 --outdir D:/out/笔记图片

# 然后直接用 Read 工具读产出的 PNG —— 模型读图优于传统 OCR

为什么不用 OCR：这些图是带样式的正式排版（多级标题、彩色 ★ 星级、 分色答案区块），传统 OCR 会丢失结构与配色语义；模型读图能同时理解 版式层级与内容归属，一次拿到「题号 + 题干 + 星级 + 考察要点 + 答案区块」。

取图要点（实测）

• imageList[i].urlDefault 可直接 GET，无防盗链，带 Referer 更稳
• 返回 image/webp，需 Pillow 转 PNG；声明 2480×3507，实际下载 1080×1527（够读）
• 单图 80150 KB，约 12 秒；requests 需 trust_env=False 绕开沙箱代理
• 页面需等 6~8 秒渲染完，否则 imageList 可能为空

实测收获（9 帖 55 张图，全部读完）

必须如实声明覆盖边界：

• 「身边研友」声称 107 题，公开图录得 100 道（第 100 题被截断，101~107 未出现）
• 「122 题」公开图只覆盖第 43~106 题，录得 64 道
• 「字节 60 道」公开仅 16 道（封面+目录+3 篇样张），余 44 道付费

不得按标题数字宣称收获，要写明「录得 N 道 + M 道未公开」。

读图效率：单张约 1 次 Read 调用，18 张图约 15 分钟读完并整理成结构化题库。 纯题目列表型的图（无答案、无样式）读得最快。

十一、归一层四步（核心，缺一不可）

normalize.py 集中所有清洗判断，各源适配器只负责取数填 schema。

1. 统一 schema

uid / source / title / author / date / ts / url / content / extra 用 make_item() 构造，字段一律原样透传。

2. 跨平台去重（两级）

• URL 精确去重（去 query、去尾斜杠）
• 标题 SimHash（2-gram，64 位，汉明距离 ≤3）——面经常被搬运到多平台
• 冲突时保留 content 更长的

3. 过滤链（顺序固定）

去重 → 软文噪声 → 面经信号 → 标题党 → 非技术岗 → 时间窗

require_exp_signal() 是关键：仅对 STRICT_EXP_SOURCES（B站/小红书/博客园） 强制要求标题含面经信号词。不加这条时下列内容会被误判为 A 档面经：

• 「2026下半年软考中级-信息安全工程师学习计划及备考攻略」
• 「做渗透测试工作，哪些证书比较有含金量？」
• 「Strix：用AI做渗透测试，把安全漏洞扼杀在开发阶段」

它们标题含「渗透测试/信息安全」且正文含方向词，但根本不是面经。 实测该规则把 B站从 78 条压到 3 条。 牛客不启用——牛客 feed 类面经常常标题极短甚至无标题。

filter_clickbait() 补第二道：标题带「面试题」的营销号量产内容能绕过上一步。 特征是情绪化感叹词（速戳/哇哦/家人们/一键解锁/来救场）+ 连续感叹号。 同样只对 STRICT_EXP_SOURCES 生效——牛客真实面经里也有人用感叹号。

关键词匹配必须用 hit() / count_hits()，不要裸 in： 短英文缩写（AI/MPC/TEE/DLP/JWT/WAF…）走词边界正则， 否则「RAII 是什么」会因含 AI 被判为 AI 安全题。

4. 岗位方向三档分级

铁律：标题无岗位方向词的一律不算该方向面经。 （沿用牛客 skill 教训：不加时「前端面试之看看《埋点》」会因正文出现「加密」被判为安全面经）

• A：标题含方向词 且 不含其他方向词 且 方向词命中 ≥2
• B：标题含方向词，但也含其他方向词或命中较少
• C：标题无方向词，仅正文提及 → 默认排除（--keep-c 可保留）

排序 rank = exp_score*3 + score。

十二、题目抽取

三层切分，顺序不可换：

1. 按 \.{3,}|。{2,}|…+|\n{2,} 切段（content 是省略号拼接的摘要）
2. 按日期/面试轮次标记切（_META_CUT_RE）
3. 按题号切（_Q_SPLIT_RE，前导边界含空格）

保留条件：长度 8~130、含中文、（含 ?/疑问词 或 命中方向关键词）。 A/B 档题目全收，C 档只收本身含方向关键词的。 小红书正文短、口语化，走独立的 _XHS_Q_RE（按问号抓），套牛客规则会失效。

十三、关键词矩阵（安全 / AI 安全预设）

keywords.py 四条主线，build_matrix() 生成：

1. 岗位线：安全工程师、安全开发、甲方安全、渗透测试、AI安全、大模型安全…
2. 技术考点线：SQL注入、SSRF、越权、提权、反序列化、代码审计、零信任、国密…
3. AI 安全专线：提示注入、越狱、模型窃取、数据投毒、AI Agent安全、RAG安全、MCP安全
4. 公司线：腾讯/字节/阿里/长亭/奇安信/绿盟… × 「安全 面经」

换方向时改这三个词表即可：ROLE_WORDS、TECH_POINTS、DIRECTION_KEYWORDS。

十四、交付格式

txt 排版：==== 主标题、---- 章节、【N】 小节、全角空格 　　 缩进。

十五、单源失败降级（设计约束）

每个适配器内部消化异常并返回空列表，绝不向上抛； collect.py 再包一层 try/except 兜底。任一源挂掉不影响其他源与后续流程。 全源无数据时明确提示跑 --check，且不生成任何空文件。

十六、诚信要求（硬约束）

1. 标题、作者、时间、链接一律接口原样输出，绝不编造、绝不改写。
2. 题目由摘要自动抽取，每题必须带来源帖标题与 URL，保证可回溯。
3. 报告里必须声明：题目源自摘要，可能断句不全，需点原帖核对。
4. 采集只读，绝不点赞/评论/关注，避免账号风控。
5. 漏斗数据如实呈现。某方向面经稀少时直接告诉用户，不要为凑数把 其他方向或非技术岗混进来。

十七、实测漏斗基线（可用于预期管理）

免登录两源（6 词 / 2 页 / 牛客+B站 / 730 天）：

原始 446 → 去重 434 → 去噪声 422 → 面经信号 240
   → 去非技术岗 238 → 时间窗 97 → 入选 32（A 4 / B 28）→ 题目 54

免登录中规模（14 词 / 3 页，约 3 分钟）：

原始 1314 → 入选 65（A 5 / B 60）→ 题目 125，牛客 50 / B站 15

四源联合（已登录）（6 词 / 2 页 / 牛客+B站+知乎+博客园，约 5.5 分钟）：

原始 743 → 去重 701 → 去噪声 684 → 面经信号 472 → 标题党 470
   → 去非技术岗 467 → 时间窗 299 → 入选 206（A 68 / B 138）→ 题目 208
分源入选：知乎 176、牛客 28、博客园 1、B站 1

大规模五源（已全部登录）（30 词 / 3 页 / 1095 天，约 21 分钟）：

原始 3386 → 去重 3203 → 去噪声 3080 → 面经信号 2021 → 标题党 2008
   → 去非技术岗 1991 → 时间窗 1131 → 入选 437（A 97 / B 340）→ 题目 465
分源入选：知乎 221、牛客 115、小红书 50、B站 49、博客园 2

总库（5 份题库合并去重）：

1198 帖 / 1300 题 → 469 帖 / 484 题
分源：知乎 232、牛客 117、小红书 67、B站 51、博客园 2

核心结论（登录前后完全不同）

1. 未登录时牛客是唯一主力。
2. 登录后知乎产出最多，且内容是牛客没有的： 华为一二三面真题汇总、字节攻防面经、奇安信面经等。
3. 小红书独家公司最多：百度、OPPO、Shopee、快手、腾讯、阿里云、 安克创新、科大讯飞。其中「OPPO面试｜AI安全工程师专属面经」是 全部采集里唯一标题直写"AI安全工程师"的岗位面经。
4. 博客园内容偏旧，默认时间窗下几乎全被砍掉，需要时放宽 --days。
5. 过滤链砍掉约 70~95% 原始数据，属正常，宁可少而准。
6. 耗时：纯 HTTP 两源 1014 词约 1.53 分钟；四源 6 词约 5.5 分钟； 五源 8 词约 11 分钟；五源 30 词约 21 分钟。 一律后台执行，且长任务须同时开 --keepalive 保活。

关于 AI 安全方向（结论已修正，勿沿用旧判断）

早前基于牛客+知乎得出「AI 安全独立岗位面经极少」，这个结论是错的 —— 它是源覆盖不足导致的偏差，不是市场事实。

用 30 个关键词深挖小红书（此前只用 8 个）后拿到 637 条，其中 AI 安全岗位面经密集：

小红书是 AI 安全方向面经的富矿，可能因为这类岗位偏新、候选人偏年轻， 更愿意在小红书而非牛客分享。

方法论教训：说「某方向内容少」之前，必须先确认所有相关源都已充分采集 （尤其是 max_kw 有没有用满关键词矩阵）。结论必须标注数据来源边界。

十八、一次完整实战的产出规模（2026-09-03，可作预期参照）

安全 / AI 安全方向，五源全部登录，从零到可用备考材料，耗时约 5 小时。

文本采集线

多批次累计 1308 帖 / 1156 题 → 合并去重 → 总库 528 帖 / 446 题
分源：知乎 232、小红书 126、牛客 117、B站 51、博客园 2
知识点聚类：22 个域，未归类率 27.7%
刷题计划：14 天版（每日 124 分钟）、7 天冲刺版（每日 240 分钟）

图片识别线（55 张图全部读完，累计 180 道题）

图片识别的内容质量显著高于文本采集 —— 文本抽取只能拿到题干碎片， 图片长文往往是正式排版的题库文档（含答案框架、考频统计、失分点分析）。 定向抓高价值帖的图片，比扩大文本采集规模更划算。

十九、面向 AI 安全 / Skill 安全岗的使用建议

若目标岗位是 AI 安全、大模型安全、Agent 安全（含 Skill 供应链审计）， 优先顺序应调整：

1. 小红书优先于牛客 —— AI 安全岗位面经在小红书密度高得多 （字节/OPPO/小米/阿里/蚂蚁/长亭），牛客上这类岗位面经很少
2. 必须做图片识别 —— AI 安全题库多为图片长文，纯文本会漏掉绝大部分
3. 关键词矩阵要含 Agent 生态词：MCP、A2A、Function Call、ReAct、 LangGraph、Toolformer、上下文工程、Skills、提示注入、约束解码
4. 重点关注这类题（实测高频且与 Skill 安全治理直接相关）：
   • skills 与传统 agent 的差别 / 工具 skills vs 产品 skills
   • 成千上万 Skills 的渐进式加载（意图预测）
   • MCP 的 Host/Client/Server 架构与它解决的痛点
   • 防止 Prompt 注入诱导 Agent 调用敏感工具
   • System Prompt 注入攻击与防御
   • 虚构工具调用（参数幻觉）的代码层校验
   • 企业级 Agent 平台的权限管理与数据隔离