dvcrn Latte News Fetcher - 新闻获取工具 ☕
获取新闻列表、绕过付费墙、深入阅读完整内容。
🚀 核心流程
首次使用：初始化偏好
检查配置文件 CONFIG/news-preferences.md（workspace 根目录）
如果用户偏好为空，执行初始化：
询问用户：
"你想要看哪些方面的新闻？可以选择以下类别，也可以告诉我你常看的网站："
🌍 国际时事 - BBC、Reuters、Al Jazeera
🇨🇳 国内要闻 - 人民网、新华网、澎湃新闻
💰 财经金融 - 财联社、Bloomberg、华尔街见闻
💻 科技互联网 - 36氪、The Verge、虎嗅
⚽ 体育娱乐 - 虎扑、ESPN、新浪体育
📊 商业市场 - 界面、财新、第一财经
你也可以直接告诉我你想关注的网站。"
保存偏好 → 写入 CONFIG/news-preferences.md（workspace 根目录）
日常使用：获取今日新闻
触发场景（两种）：
通用请求：用户问"今天有什么新闻"、"看看新闻"等
- → 读取用户偏好配置，获取偏好类别对应的网站
指定网站：用户问"看看华尔街日报今天有什么新闻"、"BBC今天新闻"等
- → 直接访问用户指定的网站，跳过偏好检查
📰 获取新闻首页（关键！）
⚠️ 重要：主流媒体网站通常会阻止简单的 fetch 请求，必须使用正确的工具
工具选择优先级
| 优先级 | 工具 | 适用场景 | 说明 |
|---|---|---|---|
| 🔴 首选 | browser |
WSJ、Bloomberg、NYT、FT 等主流媒体 | 能处理 JS 渲染和反爬机制 |
| 🟡 备选 | web_fetch |
BBC、Reuters、AP 等开放网站 | 轻量级，速度快 |
| 🟢 兜底 | Tavily 搜索 | 首页获取失败时 | 搜索 site:xxx.com 获取今日新闻 |
首页获取流程
1. browser 打开网站首页
browser action=open url="https://cn.wsj.com" profile="openclaw"
2. 等待页面加载（3-5秒）
browser action=act kind=wait timeMs=5000
3. 获取页面快照
browser action=snapshot
4. 从快照中提取新闻标题和链接
5. 关闭浏览器
browser action=close
首页获取失败时的备选方案
如果 browser 访问失败，按以下顺序尝试：
1. 使用 Tavily 搜索今日新闻
搜索: "site:cn.wsj.com 2026-03-06" 或 "华尔街日报 今日"
2. 尝试 RSS 订阅源（如果有）
WSJ RSS: https://feeds.a.dj.com/rss/RSSWSJD.xml
3. 使用 web_fetch 尝试移动版
web_fetch url="https://m.cn.wsj.com"
4. 诚实告知用户，提供替代网站
输出格式（纯文本 Markdown）
⚠️ 重要：使用纯文本 Markdown 格式，不使用飞书交互式卡片！
使用 message 工具发送纯文本消息，格式如下：
**[来源名称] 今日新闻** (YYYY-MM-DD)
---
**🔥 热门文章**
1. [标题](原文链接) | 类别
简短摘要（1-2行，精炼概括核心事件）
2. [标题](原文链接) | 类别
简短摘要
3. [标题](原文链接) | 类别
简短摘要
---
**🌍 国际**
- [标题](原文链接) | 摘要
**🇨🇳 中国**
- [标题](原文链接) | 摘要
**🇺🇸 美国政治**
- [标题](原文链接) | 摘要
**💰 财经金融**
- [标题](原文链接) | 摘要
**💻 科技**
- [标题](原文链接) | 摘要
**🏢 商业**
- [标题](原文链接) | 摘要
**🎨 有趣/生活**
- [标题](原文链接) | 摘要
---
对哪条新闻感兴趣想深入了解？我可以用绕过工具帮你获取全文。
格式要求：
- 使用纯文本 Markdown，不使用飞书交互式卡片（interactive card）
- 主标题使用
**粗体**，日期用括号 - 各分类板块使用
---分隔线 - 分类标题使用
**粗体**+ 图标：🌍 国际、🇨🇳 中国、🇺🇸 美国政治、💰 财经金融、💻 科技、🏢 商业、🎨 有趣/生活 - 热门文章必须有编号、标题、类别标签和1-2行摘要
- 标题使用 Markdown 超链接格式
[标题](链接) - 摘要精炼，确保信息密度与可读性平衡
- 结尾提供深入了解的提示
实现方式：
message(
action: "send",
channel: "feishu",
message: "**华尔街日报中文版 今日新闻** (2026-03-06)\n\n---\n\n**🔥 热门文章**\n\n1. [标题](链接) | 类别\n 摘要内容\n\n..."
)
📋 核心类别与知名网站
| 类别 | 首选网站（Top 3） | 备选网站 |
|---|---|---|
| 🌍 国际时事 | BBC、Reuters、Al Jazeera | AP News、DW、NHK World |
| 🇨🇳 国内要闻 | 人民网、新华网、澎湃新闻 | 中国新闻网、环球网、新京报 |
| 💰 财经金融 | 财联社、Bloomberg、华尔街见闻 | Reuters财经、第一财经、财新 |
| 💻 科技互联网 | 36氪、The Verge、虎嗅 | TechCrunch、Ars Technica、钛媒体 |
| ⚽ 体育娱乐 | 虎扑、ESPN、新浪体育 | BBC Sport、懂球帝、直播吧 |
| 📊 商业市场 | 界面、财新、第一财经 | 21世纪经济报道、FT中文网、日经中文网 |
网站与工具对应表：
| 网站 | 首页获取工具 | 原因 |
|---|---|---|
| WSJ/Bloomberg/NYT/FT | browser |
反爬机制强，需要 JS 渲染 |
| BBC/Reuters/AP | web_fetch 或 browser |
相对开放，两者皆可 |
| 国内媒体（澎湃/财新等） | browser |
部分有反爬 |
| 科技媒体（36氪/The Verge） | browser |
JS 渲染较多 |
🔍 深入新闻：获取全文
触发：用户说"详细了解 XX"、"展开第 X 条"等
获取优先级
1. web_fetch 直接获取（免费信源）
↓ 失败
2. browser 访问页面（无付费墙）
↓ 失败（付费墙）
3. archive.today 归档版本（首选绕过方案）
↓ 失败（无存档）
4. RemovePaywall → archive.is
↓ 失败
5. 其他绕过工具（smry.ai / 12ft.io）
↓ 失败
6. 搜索替代信源（BBC/Reuters/AP）
↓ 失败
7. 诚实告知 + 提供已获取的摘要
绕过付费墙工具
| 优先级 | 工具 | 用法 | 适用场景 |
|---|---|---|---|
| ⭐⭐⭐ | archive.today | https://archive.today/{链接} |
首选！付费墙通用方案 |
| ⭐⭐ | smry.ai | https://smry.ai/{链接} |
带总结，部分站点有效 |
| ⭐⭐ | RemovePaywall | https://www.removepaywall.com/search?url={链接} |
华尔街日报备选 |
| ⭐ | 12ft.io | https://12ft.io/{链接} |
博客、Medium |
| ⭐ | r.jina.ai | https://r.jina.ai/http://{链接} |
纯文本提取 |
🗞️ 华尔街日报 (WSJ) 专用绕过方法
方法一：archive.today 直接访问（推荐）
⚠️ 关键步骤：archive.today 会先显示存档列表页，需要点击具体存档链接才能进入内容页
完整操作流程：
步骤1: 尝试直接获取（通常失败）
web_fetch url="https://cn.wsj.com/articles/xxx"
步骤2: 打开 archive.today
browser action=open url="https://archive.today/https://cn.wsj.com/articles/xxx"
browser action=act kind=wait timeMs=8000
步骤3: 获取快照，检查页面状态
browser action=snapshot
步骤4: 判断页面类型
├── 如果显示"存档列表"（有多个存档时间和链接）
│ → 点击最新的存档链接
│ → browser action=act kind=click ref="存档链接"
│ → 等待跳转后获取内容
│
└── 如果直接显示文章内容
→ 直接提取内容
步骤5: 从快照中提取文章内容
（注意：archive.today 页面顶部有工具栏，内容在下方）
步骤6: 关闭浏览器
browser action=close
实际代码示例：
// 步骤1: 尝试直接获取
web_fetch url="https://cn.wsj.com/articles/英伟达将重心转离对华销售芯片-e85f9673"
// → 失败
// 步骤2: 打开 archive.today
browser action=open url="https://archive.today/https://cn.wsj.com/articles/..."
browser action=act kind=wait timeMs=8000
// 步骤3: 获取快照
browser action=snapshot
// 检查结果：发现是存档列表页
// 步骤4: 点击存档链接
// 在快照中找到类似这样的链接：
// link "英伟达将重心转离对华销售芯片 - WSJ" [ref=e43]
browser action=act kind=click ref="e43"
// 步骤5: 等待加载后获取内容
browser action=act kind=wait timeMs=5000
browser action=snapshot
// 步骤6: 提取内容并整理输出
时效性提示
⏰ 存档可能不是实时的：
- archive.today 的存档由用户提交，可能有数小时延迟
- 如果需要最新内容而存档过旧，尝试：
- RemovePaywall 方案
- 搜索替代信源
- 等待新存档
方法二：RemovePaywall（备选）
如果 archive.today 没有存档，使用此方法：
1. browser action=open url="https://www.removepaywall.com/search?url={WSJ链接}"
2. browser action=act kind=wait timeMs=5000
3. browser action=act kind=click ref="option2或option3按钮"
4. 等待跳转到 archive.is 页面
5. browser action=snapshot 获取内容
📊 其他付费网站绕过方案
| 网站 | 推荐方法 | 备注 |
|---|---|---|
| 华尔街日报 (WSJ) | archive.today | 优先使用，需点击存档链接 |
| Bloomberg | archive.today | 同上 |
| NYT | archive.today | 同上 |
| Medium | 12ft.io / r.jina.ai | 效果较好 |
| FT中文网 | archive.today | 同上 |
搜索替代信源
使用 Tavily API 搜索同一事件的免费报道：
curl -s --request POST \
--url https://api.tavily.com/search \
--header "Authorization: Bearer $TAVILY_API_KEY" \
--header 'Content-Type: application/json' \
--data '{
"query": "China 2026 GDP growth target 4.5% 5% economic",
"max_results": 5,
"search_depth": "basic"
}'
替代优先级：
- BBC / Reuters / AP（国际）
- 官方来源（如中国国务院新闻办 SCIO）
- 国内免费媒体（国内）
- 社交媒体（Twitter/X 记者账号）
综合多信源： 当无法获取原文全文时，从 Tavily 搜索结果中选择 2-3 个信源，综合整理后提供给用户，并注明来源链接。
需要会员登录的网站处理
⚠️ 特殊类型：部分网站（如日经中文网）不是付费墙，而是需要免费会员登录才能看全文
处理流程：
1. 尝试 smry.ai 获取
├── 成功但内容截断 → 说明需要登录
└── 失败 → 继续下一步
2. 使用 Tavily 搜索替代信源（推荐）
- 搜索同一事件的其他媒体报道
- 综合多信源整理
3. 请求用户登录（备选）
- 询问用户是否有会员账号
- 如有，请用户在 Chrome 中登录
- 使用 browser profile="chrome" 访问
- 注意：需要用户先点击 OpenClaw Browser Relay 扩展启用
用户登录操作提示：
"你有日经中文网会员账号吗？
如果有：
1. 在 Chrome 浏览器中打开 https://cn.nikkei.com/user/login.html 并登录
2. 登录成功后告诉我
3. 我会通过你的浏览器访问文章全文
或者，我可以用 Tavily 搜索其他媒体对同一事件的报道。"
🛠️ 工具选择速查表
获取新闻列表
| 场景 | 推荐工具 | 原因 |
|---|---|---|
| 主流媒体首页（WSJ/Bloomberg/NYT） | browser |
反爬机制强 |
| 开放媒体（BBC/Reuters） | web_fetch 或 browser |
两者皆可 |
| 首页获取失败 | Tavily 搜索 site:xxx.com |
兜底方案 |
获取文章全文
| 场景 | 工具 |
|---|---|
| 免费信源 | web_fetch 直接获取 |
| 付费信源 | browser + archive.today |
| 复杂页面 | browser + snapshot |
📂 相关文件
- 用户偏好配置 - 存储用户的新闻偏好（workspace 根目录）
- 新闻网站资源 - 完整的网站列表
- 付费墙难度矩阵 - 各网站付费墙分析
- 绕过工具对比 - 工具效果对比
- 进阶技巧 - 浏览器技巧等
⚠️ 注意事项
- 链接格式 - 新闻列表必须使用
[标题](原文链接)格式 - 热门新闻 - 必须是当天最热门、关注度最高的，不限类别
- 尊重版权 - 仅供个人学习研究
- 优先免费 - BBC/Reuters/AP 是第一选择
- 诚实透明 - 无法获取时明确告知 + 提供替代
- 输出格式 - 始终使用纯文本 Markdown，不用飞书交互式卡片
- 存档时效 - archive.today 存档可能有延迟，注意检查存档时间
🔄 流程图
用户请求新闻
│
├─── 用户指定网站？
│ │
│ Yes ──→ 直接访问指定网站
│ │
│ No
│ │
│ ▼
│ 检查用户偏好配置
│ │
│ ┌────┴────┐
│ │ 有偏好？ │
│ └────┬────┘
│ No │ Yes
│ ┌────┴────┐
│ ▼ ▼
│ 询问用户 直接获取
│ 设置偏好 偏好类别新闻
│ │ │
│ └────┬────┘
│ │
└─────────┤
▼
┌───────────────────┐
│ browser 打开首页 │
│ （主流媒体首选） │
└───────────────────┘
│
┌──────┴──────┐
│ 成功？ │
└──────┬──────┘
Yes │ No
┌──────┴──────┐
▼ ▼
提取新闻 尝试备选方案
标题链接 (Tavily/RSS/移动版)
│ │
│ ┌──────┴──────┐
│ │ 成功？ │
│ └──────┬──────┘
│ Yes │ No
│ ┌─────┴─────┐
│ ▼ ▼
│ 提取新闻 告知用户
│ 标题链接 提供替代
│ │ │
└───────┴───────────┘
│
▼
┌───────────────────┐
│ 整理输出： │
│ 🔥 最热门 x3 │
│ + 分类新闻 │
│ （纯文本Markdown） │
└───────────────────┘
│
▼
用户选择深入了解
│
▼
┌───────────────────┐
│ 获取全文 + 总结 │
│ web_fetch │
│ ↓ 失败 │
│ browser │
│ ↓ 付费墙 │
│ archive.today │
│ （注意点击存档链接） │
│ ↓ 失败 │
│ 搜索替代信源 │
└───────────────────┘
📝 更新日志
2026-03-06 (v2):
- 新增"需要会员登录的网站处理"流程（如日经中文网）
- 新增 Tavily API 完整使用示例（curl 命令）
- 新增"综合多信源"策略说明
- 替代信源优先级新增"官方来源"
- 流程图增加"用户登录"分支提示
2026-03-06 (v1):
- 首页获取改用 browser 为首选（主流媒体反爬机制）
- archive.today 流程补充"点击存档链接"步骤
- 新增"用户指定网站"分支
- 新增首页获取失败的备选方案
- 添加存档时效性提示
- 更新流程图
此技能持续优化中。最后更新: 2026-03-06