docevilock MediaCrawler - 多平台媒体数据爬虫
这是一个内置完整功能的媒体爬虫工具，包含完整的MediaCrawler代码库，可独立运行。
快速开始
1. 安装依赖
cd /home/yang/.qoder/skills/mediacrawler
uv sync
uv run playwright install
或使用传统pip：
pip install -r requirements.txt
playwright install
2. 执行搜索爬取
# 使用uv运行
cd /home/yang/.qoder/skills/mediacrawler
uv run python scripts/run_crawl.py --platform xhs --keywords "手机评测" --login-type cookie --cookies "your_cookies"
# 或直接运行
python3 scripts/run_crawl.py --platform xhs --keywords "手机评测" --login-type cookie --cookies "your_cookies"
支持的平台
- ✅ 小红书 (xhs): 笔记搜索、详情抓取、评论获取
- ✅ 抖音 (dy): 视频搜索、详情抓取、评论获取
- ✅ 快手 (ks): 视频搜索、详情抓取
- ✅ B站 (bili): 视频搜索、详情抓取、评论获取
- ✅ 微博 (wb): 微博搜索、详情抓取
使用示例
小红书搜索
# 基本搜索（使用cookie登录）
python3 scripts/run_crawl.py --platform xhs --keywords "美食探店" --login-type cookie --cookies "your_cookies"
# 多关键词搜索
python3 scripts/run_crawl.py --platform xhs --keywords "美食,旅行,摄影" --login-type cookie --cookies "your_cookies"
# 二维码登录（需要有图形界面）
python3 scripts/run_crawl.py --platform xhs --keywords "数码产品" --login-type qrcode
# 无头模式运行（服务器环境）
python3 scripts/run_crawl.py --platform xhs --keywords "摄影技巧" --login-type cookie --cookies "your_cookies" --headless
抖音搜索
python3 scripts/run_crawl.py --platform dy --keywords "美食教程" --login-type cookie --cookies "your_cookies"
B站搜索
python3 scripts/run_crawl.py --platform bili --keywords "编程教程" --login-type cookie --cookies "your_cookies"
微博搜索
python3 scripts/run_crawl.py --platform wb --keywords "科技新闻" --login-type cookie --cookies "your_cookies"
参数说明
| 参数 | 说明 | 可选值 |
|---|---|---|
--platform |
目标平台 | xhs, dy, ks, bili, wb |
--keywords |
搜索关键词 | 多个用逗号分隔 |
--login-type |
登录方式 | qrcode, cookie, phone |
--cookies |
Cookie字符串 | 用于cookie登录 |
--headless |
无头模式 | 添加此参数启用 |
--max-notes |
最大爬取数量 | 默认20 |
获取Cookie
小红书Cookie获取方法
- 浏览器打开 https://www.xiaohongshu.com
- 登录你的账号
- 按F12打开开发者工具
- 切换到"Network"标签
- 刷新页面
- 找到任意请求，在Headers中找到Cookie
- 复制完整的Cookie字符串
Cookie格式示例
gid=xxx; xsecappid=xxx; a1=xxx; webId=xxx; web_session=xxx; ...
数据保存
爬取的数据会自动保存在 data 目录下，支持多种格式：
- JSON格式（默认）
- CSV格式
- Excel格式
- 数据库存储（SQLite/MySQL/PostgreSQL）
可在 config/base_config.py 中配置保存选项。
高级配置
如需更详细的配置（如代理、并发数、CDP模式等），请编辑：
/home/yang/.qoder/skills/mediacrawler/config/base_config.py
资源目录
- 执行脚本位于
scripts/ - 参考资料位于
references/ - 示例素材位于
assets/
注意事项
⚠️ 重要提醒：
- 本工具仅供学习研究使用
- 请遵守各平台的使用条款和robots.txt规则
- 合理控制请求频率，避免对平台造成负担
- 不得用于任何商业用途
- 使用Cookie登录时请保护好个人隐私信息
许可证
本项目遵循 NON-COMMERCIAL LEARNING LICENSE 1.1 许可协议。