khanhhuyenngo985-sys Media Monitor Automation
自动化行业媒体 RSS 监控系统，定期抓取内容并智能沉淀到知识库。支持反爬适应和自动进化。
核心功能
- RSS 监控 — 监控多个已验证的媒体源
- 内容摘要 — 自动生成每日摘要
- 智能分类 — 按行业/品牌自动归档
- 知识晋升 — 评估内容价值，晋升到知识库
- 自动进化 — 监测失败源、发现新源、适应反爬机制
自动进化机制
进化检查清单（每周执行）
当监控源失败时，自动触发进化流程：
- Step 1: 记录失败源 URL、失败时间、错误类型
- Step 2: 搜索同类型可替代 RSS 源
- Step 3: 测试新源稳定性（连续 3 天）
- Step 4: 更新配置并记录到本技能文件
- Step 5: 删除失效源配置
反爬适应策略
当 RSS 返回验证码或 HTML 时：
- 检测信号：连续 3 次返回非 XML 内容
- 尝试方案：
- 更换 User-Agent
- 添加 Referer 头
- 降低请求频率
- 寻找镜像站或替代源
- 记录结论：更新 DEPRECATED_SOURCES
新源发现流程
主动发现新 RSS 源：
- 搜索媒体官网底部 RSS 链接
- 检查 RSSHub (rsshub.app) 是否有该站
- 检查 Feedly、Inoreader 等聚合器的源
- 测试并验证稳定性
监控的媒体分类
| 分类 | 来源 | 内容类型 |
|---|---|---|
| 广告行业 | Campaign Brief, Nowness | 国际广告案例、创意影像 |
| 服装行业 | Fashionista, Who What Wear | 服装行业、服装搭配 |
| 奢侈品服装 | WWD, Vogue, Harper's Bazaar, Elle | 时尚行业、奢侈品动态 |
| 商业科技 | 爱范儿 | 科技评论（待修复） |
使用方式
查看监控状态
python3 ~/.claude/agents/knowledge-evolution/media-monitor.py
查看 Cron 配置
bash ~/.claude/agents/knowledge-evolution/setup-cron.sh status
手动触发抓取
python3 ~/.claude/agents/knowledge-evolution/media-monitor.py
检查源健康度（每周）
# 检查所有配置的源是否可用
for url in "campaignbrief.com" "nowness.com" "ifanr.com" "digitaling.com" "wwd.com" "vogue.com"; do
status=$(curl -s -o /dev/null -w "%{http_code}" --max-time 10 "https://$url/feed")
echo "$url: $status"
done
配置来源
编辑 ~/.claude/agents/knowledge-evolution/media-monitor.py 中的 RSS_SOURCES：
RSS_SOURCES = {
"分类名称": [
{"name": "媒体名", "url": "RSS地址", "category": "内容类型"},
],
}
已知来源状态
稳定可用（已验证）
- ✅ Campaign Brief (
https://campaignbrief.com/feed/) - ✅ Nowness (
https://www.nowness.com/rss) - ✅ Fashionista (
https://fashionista.com/feed) — v1.4新增 - ✅ Who What Wear (
https://www.whowhatwear.com/rss) — v1.4新增 - ✅ WWD (
https://wwd.com/feed/) - ✅ Vogue (
https://www.vogue.com/feed/rss) - ✅ Harper's Bazaar (
https://www.harpersbazaar.com/rss/all.xml) - ✅ Elle (
https://www.elle.com/rss/all.xml) - ❌ 爱范儿 (
https://www.ifanr.com/feed) — 被墙 - ❌ 数英网 (
https://www.digitaling.com/rss) — 被墙
已废弃（网络不通/被墙/需验证）
- ❌ Socialbeta — 网络不通
- ❌ 36kr — 验证码拦截
- ❌ 广告门、麦迪逊邦、虎嗅、亿邦动力 — 无效
- ❌ Cannes Lions、Ads of the World — 无公开 RSS
待测试（有潜力）
- ⏳ The Drum — 返回 HTML，需进一步测试
- ⏳ Designboom — 301 重定向，需测试新 URL
- ⏳ BoF (Business of Fashion) — 无内容返回
输出位置
- 每日摘要 →
~/Documents/白梦客知识库/intake/媒体监控/ - 晋升内容 →
~/Documents/白梦客知识库/04-行业知识/AI视频提示词库/auto-promoted/ - 状态追踪 →
/tmp/knowledge-evolution/media-tracking.json - 进化日志 →
~/Documents/白梦客知识库/🏠 知识库进化日志.md
Cron 任务
| 任务 | 时间 | 命令 |
|---|---|---|
| 媒体监控 | 每天 8:00 | python3 media-monitor.py |
| 健康检查 | 每周日 2:00 | python3 scanner.py |
添加新的 RSS 源
快速添加流程
- 验证 RSS 有效性：
curl -s --max-time 10 -A "Mozilla/5.0" "RSS地址" | head -20
确认返回 XML 内容（不是 HTML 或验证码）
测试连续 3 天稳定性
添加到配置：
RSS_SOURCES["新分类"].append({
"name": "媒体名",
"url": "RSS地址",
"category": "内容类型"
})
更新本技能文件的"稳定可用"列表
运行测试：
python3 ~/.claude/agents/knowledge-evolution/media-monitor.py
故障排查
抓取返回 0 条
- 检查 RSS 是否返回 XML（不是 HTML）
- 检查是否需要验证码（36kr 会被拦截）
- 使用
curl -v查看完整响应
内容解析失败
- 大多数 RSS 有格式问题，脚本会自动尝试宽松解析
- 如果持续失败，检查 RSS 是否仍是有效 XML
日志位置
/tmp/knowledge-evolution/media.log
参考学习项目
TrendRadar (⭐50k)
AI驱动的舆情监控系统，聚合多平台热点 + RSS订阅，支持关键词筛选、AI翻译和推送。
- GitHub: https://github.com/sansan0/TrendRadar
- 亮点：MCP架构支持、Docker部署、多渠道推送
Apify MCP Server (⭐1k)
用现成的爬虫抓取社交媒体、搜索引擎、电商等。
- GitHub: https://github.com/apify/apify-mcp-server
- 亮点：数千个现成爬虫覆盖主要平台
RSS Feed Monitor (Python)
简单的 RSS 监控工具，带重试逻辑和内容下载。
- GitHub: https://github.com/daquino94/rss-telegram
- 亮点：Telegram 推送、定期检查、去重
相关文件
| 文件 | 路径 |
|---|---|
| 监控脚本 | ~/.claude/agents/knowledge-evolution/media-monitor.py |
| 晋升脚本 | ~/.claude/agents/knowledge-evolution/knowledge-auto-promoter.py |
| Cron 设置 | ~/.claude/agents/knowledge-evolution/setup-cron.sh |
| 进化日志 | ~/Documents/白梦客知识库/🏠 知识库进化日志.md |
进化记录
| 日期 | 版本 | 更新内容 |
|---|---|---|
| 2026-04-02 | v1.0 | 初始版本，8个稳定RSS源 |
| 2026-04-02 | v1.1 | 添加自动进化机制、参考项目 |
| 2026-04-02 | v1.2 | 高优先级修复：动态UA池、RSSHub备用源、失败自动降级、趋势分析、告警机制 |
| 2026-04-03 | v1.4 | 深化升级：精准分类（服装/箱包/香水/配饰/广告）、案例自动沉淀、洞察摘要 |
v1.3 新增功能
1. 内容价值评分 (0-100)
def score_article(item) -> int:
# 基础分 50
# + 高价值词: campaign, 品牌, 奢侈品, 联名, 限定...
# - 招聘/求职类
# + 标题长度适中
2. 相似度去重
def deduplicate_articles(items, threshold=0.8):
# 基于词集合相似度 > 0.8 去重
3. 精选内容 TOP 3
- 🔥 70+ 分 | 📌 60-69分 | 📄 60-分
- 自动生成精选内容版块
v1.2 修复详情
1. 动态 User-Agent 池
每次请求随机选择 5 个不同 UA，避免被识别。
2. RSSHub 备用源
连续失败3次后自动切换到 RSSHub 备用。
3. 失败追踪 + 自动降级
记录失败次数，成功后自动重置。
4. 趋势分析
摘要新增高频关键词统计，自动提取内容趋势。
5. 告警机制
连续失败超过6次时发送告警（可扩展到 Slack/钉钉）。
v1.4 深化升级
1. 精准子分类
新增针对白梦客关注领域的精准分类关键词库：
| 分类 | 关键词示例 |
|---|---|
| 服装 | dress, gown, runway, 时装, 裙装 |
| 箱包 | bag, handbag, leather goods, 手袋, LV, Hermès |
| 香水 | perfume, fragrance, scent, 香水, 香调, Chanel, Dior |
| 配饰 | jewelry, watch, sunglasses, 珠宝, 腕表 |
| 广告创意 | campaign, advertising, brand film, 广告, 创意 |
| 联名限定 | collaboration, limited edition, 联名, 限定 |
2. 案例自动沉淀
- 65分以上优质内容自动生成案例卡片
- 存入
~/Documents/白梦客知识库/intake/广告案例沉淀/ - 包含：广告类型、视觉风格、色调倾向、情感诉求分析模板
3. 洞察摘要
- 今日内容子分类分布统计
- 高频关键词升级为20+关键词跟踪
- 自动生成今日洞察摘要
最后更新：2026-04-03 v1.4