Apify Web Scraping Skill
Навык для использования Apify Actors для парсинга веб-данных.
Когда использовать
- Парсинг социальных сетей (Instagram, TikTok, YouTube, X/Twitter, LinkedIn)
- Сбор данных с e-commerce (Amazon, eBay, AliExpress)
- Парсинг поисковых систем (Google, Bing, Google Maps)
- Сбор контактов и лидов
- Мониторинг цен и отзывов
- Скрапинг любых веб-сайтов
Справочники (references/)
- references/curated-actors.md — curated индекс 130+ Actor'ов с точными ID по платформам (Instagram, Facebook, TikTok, YouTube, X, LinkedIn, Maps, отзывы, недвижимость, SEO, RAG-краулинг, Telegram/Reddit/Snapchat, обогащение контактов). Всегда сверяй ID отсюда перед вызовом.
- references/apify-gotchas.md — модели оплаты (FREE/PPE/FLAT), протокол оценки стоимости, частые грабли (cookies, rate limits, пустые результаты, deprecated Actors), восстановление после ошибок, лимиты по платформам.
⚠️ Namespace важнее всего. Таблицы ниже — упрощённые; часть ID неполные. Реальные namespace'ы: TikTok = clockworks/, YouTube = streamers/, Google Maps = compass/, X/Twitter = apidojo/, LinkedIn = harvestapi/ + apimaestro/. С неверным namespace (apify/tiktok-scraper и т.п.) вызов не найдёт Actor — бери точные ID из curated-actors.md.
Схему входа тяни динамически: apify actors info "ACTOR_ID" --input --json.
Популярные Actors
Социальные сети
| Actor |
Назначение |
Пример использования |
apify/instagram-scraper |
Instagram посты, профили, хэштеги |
"Спарси последние 100 постов @username" |
apify/instagram-profile-scraper |
Детальная информация профиля |
"Получи статистику профиля" |
apify/tiktok-scraper |
TikTok видео, профили, тренды |
"Найди топ видео по хэштегу" |
apify/youtube-scraper |
YouTube видео, каналы, комментарии |
"Спарси видео канала" |
apify/twitter-scraper |
X/Twitter посты, профили |
"Собери твиты по запросу" |
apify/linkedin-profile-scraper |
LinkedIn профили |
"Получи данные профиля" |
VK-аудитории для рекламы: Apify VK-actors НЕ покрывают полный workflow парсинга аудиторий для VK Ads (нотация PS/CS/А/ТУ/НВ, метод А, вечные аудитории). Production-grade парсер для VK Ads — Target Hunter (не Apify). См. скилл vk-ads-pro-ru для VK-аудиторий.
E-commerce
| Actor |
Назначение |
Пример использования |
apify/amazon-product-scraper |
Amazon товары, цены, отзывы |
"Спарси товары по запросу" |
apify/amazon-reviews-scraper |
Отзывы Amazon |
"Собери отзывы на товар" |
apify/ebay-scraper |
eBay листинги |
"Найди товары по категории" |
apify/aliexpress-scraper |
AliExpress товары |
"Мониторинг цен" |
Поисковые системы
| Actor |
Назначение |
Пример использования |
apify/google-search-scraper |
Google поиск |
"Топ-100 результатов по запросу" |
apify/google-maps-scraper |
Google Maps места |
"Найди все рестораны в районе" |
apify/bing-search-scraper |
Bing поиск |
"Результаты поиска Bing" |
Универсальные
| Actor |
Назначение |
Пример использования |
apify/web-scraper |
Любой сайт (конфигурируемый) |
"Спарси данные с сайта X" |
apify/cheerio-scraper |
Быстрый HTML парсинг |
"Извлеки текст со страницы" |
apify/puppeteer-scraper |
JS-rendered страницы |
"Спарси SPA сайт" |
apify/playwright-scraper |
Сложные взаимодействия |
"Заполни форму и получи результат" |
Примеры команд
Социальные сети
"Спарси последние 50 постов Instagram @nasa"
"Собери топ-20 TikTok видео по хэштегу #coding"
"Получи информацию о YouTube канале MrBeast"
"Найди твиты про AI за последнюю неделю"
E-commerce
"Найди все iPhone на Amazon до $500"
"Спарси отзывы на товар ASIN B08N5WRWNW"
"Мониторь цены на AliExpress по запросу 'wireless earbuds'"
Поиск и карты
"Топ-50 результатов Google по 'best restaurants NYC'"
"Найди все кофейни в радиусе 5км от координат"
"Собери контакты компаний по запросу в Google Maps"
Контакты и лиды
"Найди email адреса с сайта company.com"
"Собери контакты IT компаний в LinkedIn"
Формат данных
Apify возвращает структурированные данные в JSON:
{
"results": [
{
"url": "https://...",
"title": "...",
"description": "...",
"price": "...",
"rating": 4.5,
"reviews": 123
}
]
}
Лимиты и стоимость
- Бесплатный план: $5/месяц в кредитах
- Оплата: Pay-per-use за compute units
- Примерная стоимость:
- 1000 Instagram постов: ~$1-2
- 1000 Amazon товаров: ~$2-3
- 1000 Google результатов: ~$0.5-1
Советы
- Начинай с малого: Сначала спарси 10-50 записей для проверки
- Используй фильтры: Сужай запросы для экономии ресурсов
- Кэшируй результаты: Сохраняй в Redis/SQLite для повторного использования
- Проверяй лимиты: Некоторые сайты имеют rate limits
- Комбинируй с N8N: Автоматизируй регулярный парсинг
Интеграция с другими MCP
Apify → Redis (кэш) → PostgreSQL (хранение)
Apify → N8N (автоматизация) → Slack (уведомления)
Apify → Claude (анализ) → Notion (документация)
1---2name: apify-scraping3description: "Скрапинг через Apify Actors: соцсети, e-commerce, поисковики. Триггеры: «спарси сайт», «apify актор». НЕ аудитории VK Ads→vk-ads-pro-ru."4metadata:5 source: https://skillmd.com/skills/jhamidun/apify-scraping6---78# Apify Web Scraping Skill910Навык для использования Apify Actors для парсинга веб-данных.1112## Когда использовать13- Парсинг социальных сетей (Instagram, TikTok, YouTube, X/Twitter, LinkedIn)14- Сбор данных с e-commerce (Amazon, eBay, AliExpress)15- Парсинг поисковых систем (Google, Bing, Google Maps)16- Сбор контактов и лидов17- Мониторинг цен и отзывов18- Скрапинг любых веб-сайтов1920## Справочники (references/)2122- **[references/curated-actors.md](references/curated-actors.md)** — curated индекс 130+ Actor'ов с точными ID по платформам (Instagram, Facebook, TikTok, YouTube, X, LinkedIn, Maps, отзывы, недвижимость, SEO, RAG-краулинг, Telegram/Reddit/Snapchat, обогащение контактов). **Всегда сверяй ID отсюда перед вызовом.**23- **[references/apify-gotchas.md](references/apify-gotchas.md)** — модели оплаты (FREE/PPE/FLAT), протокол оценки стоимости, частые грабли (cookies, rate limits, пустые результаты, deprecated Actors), восстановление после ошибок, лимиты по платформам.2425> ⚠️ **Namespace важнее всего.** Таблицы ниже — упрощённые; часть ID неполные. Реальные namespace'ы: TikTok = `clockworks/`, YouTube = `streamers/`, Google Maps = `compass/`, X/Twitter = `apidojo/`, LinkedIn = `harvestapi/` + `apimaestro/`. С неверным namespace (`apify/tiktok-scraper` и т.п.) вызов не найдёт Actor — бери точные ID из `curated-actors.md`.26>27> Схему входа тяни динамически: `apify actors info "ACTOR_ID" --input --json`.2829## Популярные Actors3031### Социальные сети3233| Actor | Назначение | Пример использования |34|-------|------------|---------------------|35| `apify/instagram-scraper` | Instagram посты, профили, хэштеги | "Спарси последние 100 постов @username" |36| `apify/instagram-profile-scraper` | Детальная информация профиля | "Получи статистику профиля" |37| `apify/tiktok-scraper` | TikTok видео, профили, тренды | "Найди топ видео по хэштегу" |38| `apify/youtube-scraper` | YouTube видео, каналы, комментарии | "Спарси видео канала" |39| `apify/twitter-scraper` | X/Twitter посты, профили | "Собери твиты по запросу" |40| `apify/linkedin-profile-scraper` | LinkedIn профили | "Получи данные профиля" |4142> **VK-аудитории для рекламы**: Apify VK-actors НЕ покрывают полный workflow парсинга аудиторий для VK Ads (нотация PS/CS/А/ТУ/НВ, метод А, вечные аудитории). Production-grade парсер для VK Ads — **Target Hunter** (не Apify). См. скилл `vk-ads-pro-ru` для VK-аудиторий.4344### E-commerce4546| Actor | Назначение | Пример использования |47|-------|------------|---------------------|48| `apify/amazon-product-scraper` | Amazon товары, цены, отзывы | "Спарси товары по запросу" |49| `apify/amazon-reviews-scraper` | Отзывы Amazon | "Собери отзывы на товар" |50| `apify/ebay-scraper` | eBay листинги | "Найди товары по категории" |51| `apify/aliexpress-scraper` | AliExpress товары | "Мониторинг цен" |5253### Поисковые системы5455| Actor | Назначение | Пример использования |56|-------|------------|---------------------|57| `apify/google-search-scraper` | Google поиск | "Топ-100 результатов по запросу" |58| `apify/google-maps-scraper` | Google Maps места | "Найди все рестораны в районе" |59| `apify/bing-search-scraper` | Bing поиск | "Результаты поиска Bing" |6061### Универсальные6263| Actor | Назначение | Пример использования |64|-------|------------|---------------------|65| `apify/web-scraper` | Любой сайт (конфигурируемый) | "Спарси данные с сайта X" |66| `apify/cheerio-scraper` | Быстрый HTML парсинг | "Извлеки текст со страницы" |67| `apify/puppeteer-scraper` | JS-rendered страницы | "Спарси SPA сайт" |68| `apify/playwright-scraper` | Сложные взаимодействия | "Заполни форму и получи результат" |6970## Примеры команд7172### Социальные сети73```74"Спарси последние 50 постов Instagram @nasa"75"Собери топ-20 TikTok видео по хэштегу #coding"76"Получи информацию о YouTube канале MrBeast"77"Найди твиты про AI за последнюю неделю"78```7980### E-commerce81```82"Найди все iPhone на Amazon до $500"83"Спарси отзывы на товар ASIN B08N5WRWNW"84"Мониторь цены на AliExpress по запросу 'wireless earbuds'"85```8687### Поиск и карты88```89"Топ-50 результатов Google по 'best restaurants NYC'"90"Найди все кофейни в радиусе 5км от координат"91"Собери контакты компаний по запросу в Google Maps"92```9394### Контакты и лиды95```96"Найди email адреса с сайта company.com"97"Собери контакты IT компаний в LinkedIn"98```99100## Формат данных101102Apify возвращает структурированные данные в JSON:103104```json105{106 "results": [107 {108 "url": "https://...",109 "title": "...",110 "description": "...",111 "price": "...",112 "rating": 4.5,113 "reviews": 123114 }115 ]116}117```118119## Лимиты и стоимость120121- **Бесплатный план**: $5/месяц в кредитах122- **Оплата**: Pay-per-use за compute units123- **Примерная стоимость**:124 - 1000 Instagram постов: ~$1-2125 - 1000 Amazon товаров: ~$2-3126 - 1000 Google результатов: ~$0.5-1127128## Советы1291301. **Начинай с малого**: Сначала спарси 10-50 записей для проверки1312. **Используй фильтры**: Сужай запросы для экономии ресурсов1323. **Кэшируй результаты**: Сохраняй в Redis/SQLite для повторного использования1334. **Проверяй лимиты**: Некоторые сайты имеют rate limits1345. **Комбинируй с N8N**: Автоматизируй регулярный парсинг135136## Интеграция с другими MCP137138```139Apify → Redis (кэш) → PostgreSQL (хранение)140Apify → N8N (автоматизация) → Slack (уведомления)141Apify → Claude (анализ) → Notion (документация)142```