# Data Source Evaluator

> 数据源评估与采集策略：评估数据可得性、质量、成本、合规性，输出数据采集方案。Invoke when user asks 数据源、数据采集、数据评估、数据策略、爬虫方案.

- Skill: `lord1egypt/data-source-evaluator` (Agent Skill, multi-file: 4 files)
- Install (CLI): `npx get-skill add lord1egypt/data-source-evaluator`
- Raw SKILL.md: https://api.skillmd.com/api/skills/lord1egypt/data-source-evaluator/raw
- Safety review: pending
- Works with: Claude Code, Claude.ai, OpenAI Codex
- Category: Coding & Dev Tools
- Author: Lord1Egypt (https://skillmd.com/u/lord1egypt)
- Updated: 2026-11-19
- Page: https://skillmd.com/skills/lord1egypt/data-source-evaluator

---


# 数据源评估与采集器

> 产品开发全链路 Skill #6 · 数据是产品最深的壁垒

## 功能

评估产品所需的数据源，设计采集策略，判断数据壁垒的可复制性。

## 核心工作流

### Step 1：数据需求梳理

明确产品需要哪些数据：

| 数据类别 | 具体内容 | 用途 | 优先级 |
|----------|----------|------|--------|
| 基础数据 | 产品正常运行所需的核心数据 | 功能实现 | P0 |
| 增强数据 | 提升产品体验的辅助数据 | 差异化 | P1 |
| 壁垒数据 | 构建竞争壁垒的独有数据 | 护城河 | P2 |

### Step 2：数据源评估

对每个数据需求，评估以下维度：

| 数据源 | 可得性 | 质量 | 成本 | 合规性 | 综合评分 |
|--------|--------|------|------|--------|----------|
| 公开API | 高 | 中 | 免费 | 高 | 推荐 |
| 网页爬虫 | 中 | 中 | 低 | 中 | 有条件 |
| 第三方购买 | 高 | 高 | 高 | 高 | 预算充足 |
| UGC | 低 | 中 | 低 | 高 | 长期 |
| 人工采集 | 中 | 高 | 高 | 高 | 短期 |

### Step 3：采集方案设计

**自动采集**：
- API 接入（官方文档、认证方式、限流策略）
- 爬虫方案（技术选型、频率控制、反爬绕过）
- 数据清洗（去重、格式化、质量校验）

**人工采集**：
- 采集流程（从哪找、怎么存、怎么验）
- 效率基准（每天能采多少条）
- 质量检查（人工抽检比例）

**UGC 采集**：
- 激励机制（积分/荣誉/金钱）
- 质量把控（审核机制、评分机制）
- 反作弊（虚假数据检测）

### Step 4：数据壁垒评估

| 数据资产 | 采集难度 | 竞品复制时间 | 维护成本 | 壁垒强度 |
|----------|----------|---------------|----------|----------|
| 数据A | 高 | 12个月 | 中 | 强 |
| 数据B | 中 | 3个月 | 低 | 弱 |

## 输出格式

- 最终交付物：Markdown 数据策略文档
- 命名规范：`{产品名}-数据策略.md`

## 硬约束

1. 必须评估数据合规性，不能建议非法采集
2. 必须标注数据来源的可靠性
3. 如果建议爬虫，必须说明反爬策略和替代方案
4. 人工采集方案必须给出效率预估
