Lord1Egypt 财经数据抓取Skill（完整版）
完整的财经数据抓取解决方案，包含多种抓取方式、入库配置、定时任务、内存清理等功能！
🚨 前置条件（必须满足！）
- OpenClaw浏览器扩展已安装并连接（用于Chrome插件抓取）
- NocoDB配置已提供（BASE_URL、TOKEN、各表ID）
- sshpass已安装（如果需要上传文件到服务器，可选）
- Python 3.7+已安装
📋 抓取任务总览
| 任务编号 | 任务名称 | 抓取内容 | 入库表ID | 建议定时配置 | 抓取方式 |
|---|---|---|---|---|---|
| 1 | 每日财经新闻（Chrome插件） | 东方财富财经导读、财联社等新闻 | 需用户提供（示例：m2w****33m） |
30 9,12,15,18 * * *（每天4次） |
Chrome浏览器插件（OpenClaw browser API） |
| 2 | 每日财经新闻（无头浏览器） | 东方财富财经导读等新闻 | 需用户提供 | 0 9,12,15,18 * * *（每天4次） |
无头浏览器（Playwright/Puppeteer） |
| 3 | 每日大盘数据 | 每日大盘指数数据 | 需用户提供（示例：mhmt****ibzo） |
0 15:05 * * *（每日收盘后） |
东方财富数据接口 |
| 4 | 每日热门板块数据 | 每日一级行业板块涨幅TOP3 | 需用户提供（示例：mcit****je27） |
10 15 * * *（每日15:10） |
东方财富数据接口 |
| 5 | 每日涨停个股数据 | 每日涨停个股（代码/名称/涨幅/成交额/封单/连板数/行业等） | 需用户提供（示例：mq8****ct7） |
05 15 * * *（每日15:05） |
东方财富数据接口 |
| 6 | Chrome浏览器Tab清理 | 保留1个东方财富tab，关闭其他所有tab | 无 | 20,50 * * * *（每小时20分和50分） |
scripts/cleanup_tabs.py |
🔧 NocoDB统一配置（必须提供！）
| 配置项 | 说明 | 示例值 |
|---|---|---|
BASE_URL |
NocoDB API基础URL | https://nocodb.*****.com/api/v2 |
TOKEN |
NocoDB API Token | 需用户提供 |
TABLE_ID_NEWS |
财经新闻入库表ID | 需用户提供 |
TABLE_ID_MARKET |
每日大盘数据入库表ID | 需用户提供 |
TABLE_ID_PLATES |
每日热门板块数据入库表ID | 需用户提供 |
TABLE_ID_LIMIT_UP |
每日涨停个股数据入库表ID | 需用户提供 |
📁 使用前准备
步骤1：确认前置条件已满足
- OpenClaw浏览器扩展已安装并连接
- NocoDB配置信息已准备好
步骤2：配置NocoDB
复制 config-examples/nocodb-config.example.json 为 nocodb-config.json，填入你的配置：
cp config-examples/nocodb-config.example.json nocodb-config.json
步骤3：配置定时任务
参考 config-examples/cron-configs/ 目录下的示例配置，创建你的定时任务配置文件！
🔨 脚本使用说明
1. Chrome浏览器Tab清理脚本
路径：scripts/cleanup_tabs.py
功能：防止浏览器tab过多造成内存溢出
策略：
- 保留1个东方财富标签页（必须有至少1个）
- 关闭其他所有多余的东方财富标签页
- 关闭所有非东方财富标签页 使用：
python scripts/cleanup_tabs.py
2. NocoDB导入脚本
路径：scripts/import_to_nocodb.py
功能：批量导入财经新闻到NocoDB
去重规则：按 source + content 组合去重
使用：
# 使用最新的JSON文件
python scripts/import_to_nocodb.py
# 指定文件
python scripts/import_to_nocodb.py /path/to/data.json
📚 参考文档
config-examples/：配置示例（NocoDB配置、Cron配置）references/：抓取规范文档（待补充）
⚠️ 注意事项
- 定时任务配置：请根据你的实际情况调整定时时间（考虑交易时间）
- 内存管理：务必配置Chrome浏览器Tab清理任务，防止内存溢出
- 去重规则：财经新闻按
source+content组合去重 - 板块数据规则：仅保留一级行业，排除地域板块、细分行业和概念板块