Content Collector

Content Collector - 社交内容收藏助手

自动收集社交媒体精彩内容，AI 整理后存入飞书文档。

触发条件

当用户发送以下内容时自动触发：

• 链接：X/Twitter、即刻、微信公众号、Reddit、知乎、Bilibili、Hacker News 等
• 图片：截图（OCR 识别后提取链接）
• 混合：链接 + 截图

依赖的 Skill

重要：本 skill 不直接调用外部脚本或路径，而是输出指引，由 Agent 在运行时调用对应 skill。 以下是当前环境中实际使用的 skill，请确保已安装。

必需 Skill

推荐 Skill（按平台）

可选 Skill

可选本地依赖

工作流程

用户发送链接/图片
  → 平台检测 (extract_content.py)
  → 去重检查 (deduplicate.py)
  → Agent 调用对应 skill 提取内容
  → AI 整理成结构化格式
  → 格式化 (append_to_feishu.py)
  → Agent 调用 feishu-doc 追加到文档

Step 1: 平台检测

运行 extract_content.py 检测链接来源，获取推荐的 skill 和提取方式：

python3 scripts/extract_content.py "https://x.com/user/status/123"

输出示例：

{
  "platform_id": "twitter",
  "platform_label": "X/Twitter",
  "url": "https://x.com/user/status/123",
  "skill": "x-tweet-fetcher",
  "fallback_skills": [],
  "note": "使用 x-tweet-fetcher skill 提取推文/文章内容"
}

支持的平台映射：

Step 2: 去重检查

python3 scripts/deduplicate.py "https://x.com/user/status/123"

检查方式：

1. 本地缓存：.cache/collected_urls.json
2. 文档检查：传入飞书文档内容文件做匹配
3. URL 标准化：自动去除 utm_source、fbclid 等追踪参数

Step 3: 内容提取

Agent 根据 Step 1 的输出，调用对应 skill 提取内容。例如：

• X/Twitter：调用 x-tweet-fetcher skill
• 微信公众号：调用 defuddle skill
• 其他平台：调用 defuddle 或 baoyu-url-to-markdown skill

Agent 负责调用 skill，本 skill 的脚本只做检测和格式化，不直接调用外部 skill。

平台特殊提示（内嵌在 extract_content.py 的 selectors 字段中）：

• 微信公众号 CSS selectors：#activity-name（标题）、#js_name（作者）、#js_content（正文）、#publish_time（时间）
• 即刻 CSS selectors：meta[property="og:title"]（作者）、meta[property="og:description"]（内容）、time（时间）
• Reddit：支持 JSON API，在 URL 末尾加 .json 获取结构化数据

Step 4: AI 整理

提取到原始内容后，AI 整理为结构化信息：

• 标题：内容标题
• 来源：作者/平台
• 分类：按内容类型分类
• 摘要内容：AI 生成的摘要，3-5 句话概括核心内容
• 原文链接：原始链接
• 原文文件：飞书云空间 .md 文件链接

Step 5: 存入多维表格（推荐）

优化后的流程（v1.4.0）：

1. 抓取内容 → 保存为 .md 文件
2. 上传到飞书云空间 → 获取文件链接
3. LLM 只输出短字段（标题、来源、分类、摘要内容）
4. 写入多维表格，原文通过文件链接跳转

Agent 工作流：

1. 调用对应 skill 抓取内容
2. 保存为本地 .md 文件（如 /tmp/content_{id}.md）
3. 调用 feishu_drive_file upload 上传到云空间
4. 获取文件链接（如 https://my.feishu.cn/file/xxx）
5. 调用 feishu_bitable_app_table_record 写入多维表格

优势：

• ✅ 省钱：LLM 不输出长文本内容
• ✅ 稳定：文件内容完整，不会截断
• ✅ 可查看：飞书中直接打开 .md 文件
• ✅ 可搜索：摘要内容+标题可搜索

字段结构：

多维表格配置：

• App Token: ND8ObCuSya5Dv3sREZYc03Ilngh
• Table ID: tblaHDM5kjtikIl9

Step 5 (备用): 格式化为 Markdown 文档

如果需要存入普通飞书文档（非多维表格），使用：

python3 scripts/append_to_feishu.py '<json_content>'

输出为格式化的 Markdown，供 Agent 调用 feishu-doc 的 append 操作写入文档。

Step 6: 图片 OCR（可选）

当用户发送截图而非链接时：

python3 scripts/ocr_image.py /path/to/image.png

• 如果本地安装了 pytesseract → 直接 OCR 识别
• 否则 → 返回图片路径，提示 Agent 使用外部 OCR 服务
• 识别后自动提取文本中的 URL，回到 Step 1

脚本清单

注意：v1.4.0 后不再需要 save_to_bitable.py，改用飞书云空间上传方案。

去重机制

URL 标准化

自动去除以下追踪参数：

• utm_source, utm_medium, utm_campaign, utm_term, utm_content
• fbclid, gclid
• ref, source

缓存存储

.cache/collected_urls.json
{
  "https://x.com/user/status/123": {
    "original_url": "https://x.com/...",
    "date": "2026-03-14T10:00:00",
    "metadata": {...}
  }
}

配置

飞书文档 Token：首次使用时创建文档，后续追加到同一文档。 文档标题建议：社交内容收藏 - 每日精选

每日提醒（可选，需 feishu-cron-reminder skill）： 每天 18:00 推送当日收藏数量、标题列表和文档链接。

更新日志

v1.4.0 (2026-03-18)

• 🎉 长文本优化：原文上传到飞书云空间，用 URL 字段存储链接
• ✅ 新增"原文文件"字段，"原文内容"改名为"摘要内容"
• ✅ LLM 不再输出长文本，大幅节省 token
• ✅ 原文通过飞书文件链接跳转查看，支持 .md 格式

v1.3.0 (2026-03-17)

• 🎉 微信公众号抓取能力升级：改用 Scrapling 方案，完美绕过微信反爬
• 🔧 更新平台映射：微信公众号首选 web-content-fetcher skill
• 🔧 添加 scrapling_command 字段，直接输出抓取命令

v1.2.0 (2026-03-14)

• 🔧 移除所有硬编码路径，适配多环境部署
• 🔧 重写 extract_content.py 为平台检测 + skill 路由模式
• 🔧 删除空壳提取脚本（extract_jike/weixin/reddit.py），selector 信息内嵌到 extract_content.py
• 🔧 更新依赖声明为当前环境实际使用的 skill
• 🔧 修复 type annotation 和 bare except 问题

v1.1.0 (2026-03-14)

• ✅ 添加去重机制（本地缓存 + 文档检查）
• ✅ 支持更多平台（即刻、公众号、Reddit 专用提取器）
• ✅ 添加图片 OCR 识别脚本
• ✅ 优化飞书文档格式（自动序号、互动数据格式化）

v1.0.0 (2026-03-14)

• 初始版本
• 支持 X/Twitter、即刻、微信公众号