caoronglin Fetch 网页抓取 MCP 技能
功能说明
Fetch MCP Server 是 Model Context Protocol 官方提供的网页抓取工具，能够：
- 🌐 网页抓取：获取指定 URL 的网页内容
- 📝 多种格式：支持提取页面文本、标题、链接等信息
- 🔧 编码处理：自动处理各种字符编码
- 🤖 规则遵循：支持 robots.txt 规则（可配置）
- ⚡ 反爬优化：处理常见的反爬限制
工具列表
1. fetch - 网页抓取工具
功能描述：抓取指定 URL 的网页内容
参数说明：
| 参数 | 类型 | 必需 | 说明 |
|---|---|---|---|
| url | string | ✅ | 要抓取的网页 URL |
| max_length | integer | ❌ | 最大字符数，默认 5000 |
| start_index | integer | ❌ | 起始字符索引，用于分页抓取 |
| raw | boolean | ❌ | 是否返回原始 HTML，默认 false（返回简化版） |
返回格式：
{
"url": "https://example.com",
"title": "页面标题",
"content": "页面内容...",
"links": ["链接1", "链接2"]
}
安装配置
方式一：使用 uvx（推荐）
{
"mcpServers": {
"fetch": {
"command": "uvx",
"args": ["mcp-server-fetch"]
}
}
}
方式二：使用 pip
pip install mcp-server-fetch
{
"mcpServers": {
"fetch": {
"command": "python",
"args": ["-m", "mcp_server_fetch"]
}
}
}
方式三：使用 Docker
{
"mcpServers": {
"fetch": {
"command": "docker",
"args": ["run", "--rm", "-i", "mcp/fetch"]
}
}
}
使用场景
1. 快速获取网页内容
用户：帮我打开这个网页 https://example.com/article
助手：[调用 fetch 工具获取内容]
2. 提取网页文本
用户：抓取这篇文章的内容
助手：[调用 fetch 工具，自动提取正文]
3. 分页抓取长内容
用户：这个网页内容太长，继续抓取后面的内容
助手：[使用 start_index 参数继续抓取]
4. 获取原始 HTML
用户：我需要这个网页的原始 HTML 代码
助手：[设置 raw=true 获取原始内容]
触发场景
- 用户需要访问某个网页链接
- 需要获取网页的文本内容
- 需要提取网页标题或链接
- 需要爬取网页信息
最佳实践
1. 处理长网页
对于内容很长的网页，使用 max_length 和 start_index 分批抓取：
第一次：max_length=5000, start_index=0
第二次：max_length=5000, start_index=5000
2. robots.txt 规则
- 默认情况下，工具会遵循网站的 robots.txt 规则
- 对于用户主动请求（非模型发起），可以忽略 robots.txt
3. 编码问题
- 工具会自动检测和处理页面编码
- 如遇乱码，可尝试设置
raw=true获取原始内容
4. 反爬策略
- 适度使用，避免频繁请求同一网站
- 尊重网站的 robots.txt 和使用条款
注意事项
⚠️ 重要提示：
- 遵守目标网站的使用条款和 robots.txt 规则
- 避免过度抓取导致 IP 被封禁
- 对于需要登录的页面，此工具无法直接访问
- JavaScript 动态加载的内容可能无法获取
错误处理
常见错误及解决方案：
| 错误 | 原因 | 解决方案 |
|---|---|---|
| 403 Forbidden | 访问被拒绝 | 检查 robots.txt，或使用浏览器工具 |
| 404 Not Found | 页面不存在 | 确认 URL 是否正确 |
| Timeout | 请求超时 | 检查网络连接，稍后重试 |
| Encoding Error | 编码问题 | 尝试 raw=true 参数 |
官方资源
- GitHub: https://github.com/modelcontextprotocol/servers/tree/main/src/fetch
- 文档: MCP 官方文档
- 许可证: MIT License
与其他工具配合
网页搜索组合
ali-web（搜索） → fetch（抓取） → 总结分析
深度内容提取
fetch（获取页面） → ali-web-ext（解析结构化内容）
更新时间: 2026-03-08 版本: 1.0