aAAaqwq 网络搜索与网页内容获取
功能说明
此技能提供全面的网络搜索和网页内容获取能力。
可用工具
1. WebFetch (OpenClaw 内置)
- 功能: 获取网页内容
- 使用场景: 获取特定网页的内容
2. Tavily Skill (AI 优化搜索)
- 位置:
~/clawd/skills/tavily/ - 功能: AI 优化的网络搜索
- 命令:
~/clawd/skills/tavily/scripts/tavily.sh
Tavily 用法
# 基础搜索
~/clawd/skills/tavily/scripts/tavily.sh search <query> [max_results]
# 深度搜索
~/clawd/skills/tavily/scripts/tavily.sh search <query> --deep
# 搜索并提取
~/clawd/skills/tavily/scripts/tavily.sh extract <query> [max_results]
3. Firecrawl Skill (专业抓取)
- 位置:
~/clawd/skills/firecrawl/ - 功能: 专业网页抓取和数据提取
- 命令:
~/clawd/skills/firecrawl/scripts/firecrawl.sh
Firecrawl 用法
# 抓取单个网页
~/clawd/skills/firecrawl/scripts/firecrawl.sh scrape <url> [format]
# 搜索并抓取
~/clawd/skills/firecrawl/scripts/firecrawl.sh search <query> [limit]
# 批量爬取
~/clawd/skills/firecrawl/scripts/firecrawl.sh crawl <url> [max_pages]
使用场景
何时使用 Tavily
- 搜索互联网信息
- 获取实时数据
- 需要 AI 优化的搜索结果
何时使用 WebFetch
- 简单获取网页内容
- 快速查看页面信息
何时使用 Firecrawl
- 复杂网页抓取
- 结构化数据提取
- 批量网站爬取
示例
搜索 Polymarket 信息 (Tavily)
~/clawd/skills/tavily/scripts/tavily.sh search "Polymarket Fed decision March 2026" 5
抓取特定页面 (Firecrawl)
~/clawd/skills/firecrawl/scripts/firecrawl.sh scrape "https://polymarket.com/event/fed-decision-in-march-885"
网络搜索与网页内容获取
功能说明
此技能提供全面的网络搜索和网页内容获取能力，包括：
- 互联网搜索（新闻、信息、数据）
- 网页内容抓取和解析
- 实时数据查询
- 多源搜索结果整合
可用工具
1. OpenClaw 内置 WebSearch
- 功能: 互联网搜索
- 使用场景: 搜索新闻、信息、实时数据
- 触发: 用户问需要实时信息的问题时
2. OpenClaw 内置 WebFetch
- 功能: 获取网页内容
- 使用场景: 获取特定网页的内容
- 触发: 用户提供 URL 并要求获取内容时
3. Firecrawl MCP
- 功能: 专业网页抓取和数据提取
- 工具: mcp__firecrawl__scrape, mcp__firecrawl__crawl, mcp__firecrawl__search
- 使用场景: 复杂网页抓取、结构化数据提取、批量爬取
- 优势: 支持复杂网页、动态内容、结构化输出
使用场景
何时使用 WebSearch
- "搜索最新的 AI 新闻"
- "查找 Polymarket 最新赔率"
- "今天的天气怎么样"
- "某公司的最新股价"
何时使用 WebFetch
- "获取这个网页的内容"
- "读取这个 URL 的内容"
- "这个页面说了什么"
何时使用 Firecrawl MCP
- "抓取这个网站的所有产品信息"
- "从这个网页提取结构化数据"
- "爬取这个网站的多个页面"
工作流程
- 分析需求: 确定需要搜索还是抓取
- 选择工具:
- 简单搜索 → WebSearch
- 单页抓取 → WebFetch 或 mcp__firecrawl__scrape
- 复杂抓取 → mcp__firecrawl__crawl
- 执行操作: 调用相应工具
- 整合结果: 将搜索结果整合到回答中
示例
搜索信息
用户: "搜索一下最新的 AI 新闻"
操作: 使用 WebSearch 搜索 "AI news latest"
获取网页内容
用户: "获取 https://example.com 的内容"
操作: 使用 WebFetch 或 mcp__firecrawl__scrape
结构化数据提取
用户: "从这个网页提取所有产品价格"
操作: 使用 mcp__firecrawl__scrape 并指定提取格式
注意事项
- 搜索结果可能包含过时或不准确的信息，需要验证
- 网页抓取需要遵守网站的 robots.txt 和使用条款
- 对于付费内容或需要登录的页面，可能无法直接获取
- 大量抓取可能触发反爬虫机制