AI News Aggregator — AI/技术新闻高性能聚合引擎
并发抓取 100+ RSS 源，12秒完成，支持 ETag/Last-Modified 缓存、日期过滤。
Setup
确保 Python 3.8+ 可用，无需额外依赖（纯标准库）。
When to Use
用户需要查看 AI/技术新闻、技术趋势、最新论文、GitHub 热门项目、AI 公司动态时使用。
触发关键词：
- "AI 新闻"、"技术新闻"、"今天有什么新闻"
- "最新论文"、"arXiv"、"AI 研究"
- "GitHub 热门"、"趋势项目"
- "OpenAI 动态"、"Anthropic 更新"
Architecture
ai-news-aggregator/
├── scripts/
│ ├── rss_aggregator.py # 核心 RSS 抓取器
│ ├── rss_sources.json # 100+ RSS 源配置
│ ├── arxiv_papers.py # arXiv 论文搜索
│ ├── github_trending.py # GitHub 热门项目
│ └── summarize_url.py # 文章摘要
└── SKILL.md # 本文件
Data Sources
| 分类 |
源数 |
内容 |
| company |
16 |
OpenAI, Anthropic, Google, Meta, NVIDIA, Apple, Mistral 等官方博客 |
| papers |
6 |
arXiv AI/ML/NLP/CV, HuggingFace Daily Papers, BAIR |
| media |
16 |
MIT Tech Review, TechCrunch, Wired, The Verge, VentureBeat 等 |
| newsletter |
15 |
Simon Willison, Lilian Weng, Andrew Ng, Karpathy 等专家 |
| community |
12 |
HN, GitHub Trending, Product Hunt, V2EX 等 |
| cn_media |
5 |
机器之心, 量子位, 36氪, 少数派, InfoQ |
| ai-agent |
5 |
LangChain, LlamaIndex, Mem0, Ollama, vLLM 博客 |
| twitter |
10 |
Sam Altman, Karpathy, LeCun, Hassabis 等 AI 领袖 |
Core Commands
RSS 聚合
# 抓取所有源（最近3天新闻）
python3 skills/ai-news-aggregator/scripts/rss_aggregator.py --category all --days 3 --limit 10
# 只看公司博客
python3 skills/ai-news-aggregator/scripts/rss_aggregator.py --category company --days 1 --limit 5
# 只看中文媒体
python3 skills/ai-news-aggregator/scripts/rss_aggregator.py --category cn_media --days 3 --limit 10
# AI Agent 相关
python3 skills/ai-news-aggregator/scripts/rss_aggregator.py --category ai-agent --days 7 --limit 10
# 输出 JSON 格式
python3 skills/ai-news-aggregator/scripts/rss_aggregator.py --category all --days 1 --json
arXiv 论文
# 最新 AI 论文（按热度排序）
python3 skills/ai-news-aggregator/scripts/arxiv_papers.py --limit 5 --top 10
# 搜索特定主题
python3 skills/ai-news-aggregator/scripts/arxiv_papers.py --query "multi-agent" --top 5
GitHub Trending
# AI 相关热门项目（今日）
python3 skills/ai-news-aggregator/scripts/github_trending.py --ai-only
# 本周热门
python3 skills/ai-news-aggregator/scripts/github_trending.py --since weekly
Core Rules
1. 优先使用 --days 参数
默认抓取最近 N 天的新闻，避免获取过期内容：
- 日报：
--days 1
- 周报：
--days 7
- 月报：
--days 30
2. 分类选择策略
| 用户需求 |
推荐分类 |
| 公司动态 |
--category company |
| 技术论文 |
--category papers |
| 中文资讯 |
--category cn_media |
| 社区趋势 |
--category community |
| AI Agent |
--category ai-agent |
3. 缓存机制
- 首次抓取后自动缓存（ETag/Last-Modified）
- 缓存有效期 1 小时
- 重复抓取秒级完成
Configuration
编辑 scripts/rss_sources.json 添加/删除 RSS 源：
{
"name": "OpenAI Blog",
"url": "https://openai.com/blog/rss.xml",
"category": "company"
}
1---2name: ai-news-aggregator3description: AI/技术新闻聚合引擎。100+ RSS源并发抓取、兴趣评分、跨天去重、统一预取。4---5
6# AI News Aggregator — AI/技术新闻高性能聚合引擎
7
8并发抓取 100+ RSS 源，12秒完成，支持 ETag/Last-Modified 缓存、日期过滤。
9
10## Setup
11
12确保 Python 3.8+ 可用，无需额外依赖（纯标准库）。
13
14## When to Use
15
16用户需要查看 AI/技术新闻、技术趋势、最新论文、GitHub 热门项目、AI 公司动态时使用。
17
18触发关键词：
19- "AI 新闻"、"技术新闻"、"今天有什么新闻"
20- "最新论文"、"arXiv"、"AI 研究"
21- "GitHub 热门"、"趋势项目"
22- "OpenAI 动态"、"Anthropic 更新"
23
24## Architecture
25
26```
27ai-news-aggregator/
28├── scripts/
29│ ├── rss_aggregator.py # 核心 RSS 抓取器
30│ ├── rss_sources.json # 100+ RSS 源配置
31│ ├── arxiv_papers.py # arXiv 论文搜索
32│ ├── github_trending.py # GitHub 热门项目
33│ └── summarize_url.py # 文章摘要
34└── SKILL.md # 本文件
35```
36
37## Data Sources
38
39| 分类 | 源数 | 内容 |
40|------|------|------|
41| company | 16 | OpenAI, Anthropic, Google, Meta, NVIDIA, Apple, Mistral 等官方博客 |
42| papers | 6 | arXiv AI/ML/NLP/CV, HuggingFace Daily Papers, BAIR |
43| media | 16 | MIT Tech Review, TechCrunch, Wired, The Verge, VentureBeat 等 |
44| newsletter | 15 | Simon Willison, Lilian Weng, Andrew Ng, Karpathy 等专家 |
45| community | 12 | HN, GitHub Trending, Product Hunt, V2EX 等 |
46| cn_media | 5 | 机器之心, 量子位, 36氪, 少数派, InfoQ |
47| ai-agent | 5 | LangChain, LlamaIndex, Mem0, Ollama, vLLM 博客 |
48| twitter | 10 | Sam Altman, Karpathy, LeCun, Hassabis 等 AI 领袖 |
49
50## Core Commands
51
52### RSS 聚合
53```bash
54# 抓取所有源（最近3天新闻）
55python3 skills/ai-news-aggregator/scripts/rss_aggregator.py --category all --days 3 --limit 10
56
57# 只看公司博客
58python3 skills/ai-news-aggregator/scripts/rss_aggregator.py --category company --days 1 --limit 5
59
60# 只看中文媒体
61python3 skills/ai-news-aggregator/scripts/rss_aggregator.py --category cn_media --days 3 --limit 10
62
63# AI Agent 相关
64python3 skills/ai-news-aggregator/scripts/rss_aggregator.py --category ai-agent --days 7 --limit 10
65
66# 输出 JSON 格式
67python3 skills/ai-news-aggregator/scripts/rss_aggregator.py --category all --days 1 --json
68```
69
70### arXiv 论文
71```bash
72# 最新 AI 论文（按热度排序）
73python3 skills/ai-news-aggregator/scripts/arxiv_papers.py --limit 5 --top 10
74
75# 搜索特定主题
76python3 skills/ai-news-aggregator/scripts/arxiv_papers.py --query "multi-agent" --top 5
77```
78
79### GitHub Trending
80```bash
81# AI 相关热门项目（今日）
82python3 skills/ai-news-aggregator/scripts/github_trending.py --ai-only
83
84# 本周热门
85python3 skills/ai-news-aggregator/scripts/github_trending.py --since weekly
86```
87
88## Core Rules
89
90### 1. 优先使用 --days 参数
91默认抓取最近 N 天的新闻，避免获取过期内容：
92- 日报：`--days 1`
93- 周报：`--days 7`
94- 月报：`--days 30`
95
96### 2. 分类选择策略
97| 用户需求 | 推荐分类 |
98|----------|----------|
99| 公司动态 | `--category company` |
100| 技术论文 | `--category papers` |
101| 中文资讯 | `--category cn_media` |
102| 社区趋势 | `--category community` |
103| AI Agent | `--category ai-agent` |
104
105### 3. 缓存机制
106- 首次抓取后自动缓存（ETag/Last-Modified）
107- 缓存有效期 1 小时
108- 重复抓取秒级完成
109
110## Configuration
111
112编辑 `scripts/rss_sources.json` 添加/删除 RSS 源：
113```json
114{
115 "name": "OpenAI Blog",
116 "url": "https://openai.com/blog/rss.xml",
117 "category": "company"
118}
119```
modbender