Web Content Fetcher

web-content-fetcher

xushengyu2003-sys efdc967 4 files · 6.9 KB Updated

File contents

web-content-fetcher

智能网页内容提取工具,整合 Jina、Scrapling 和 web_fetch 三种方案。

触发词

  • 抓取某个URL的正文内容
  • 读取某篇文章
  • 提取网页内容
  • 总结这个链接的内容
  • 任何包含网页链接并要求提取/总结内容的请求

调度策略

  1. 优先使用 Jina:提取干净 Markdown,过滤广告导航
  2. 备选 Scrapling:绕过反爬虫,无限制使用
  3. 保底 web_fetch:原生工具,获取原始内容

支持的网站

✅ 微信公众号 ✅ 飞书文档 ✅ 小红书 ✅ X/Twitter ✅ CSDN ✅ 知乎 ✅ 一般网页

❌ Google Docs(需登录)

xushengyu2003-sys/openclaw-workspace/tree/main/skills/web-content-fetcher commit efdc967974

Frequently asked questions

npx skillmds@latest add xushengyu2003-sys/web-content-fetcher