yandex-webmaster
Работа с Yandex Webmaster API v4. Управление сайтами, анализ индексации, поисковые запросы, переобход страниц, ссылки, фиды.
Config
Требуется YANDEX_WEBMASTER_TOKEN в config/.env.
Scope: webmaster:hostinfo + webmaster:verify.
Инструкция: config/README.md.
Для alice.sh (Share of Voice, без публичного API) дополнительно нужен
SESSION_ID — cookie из браузера. Подробности в config/README.md и
references/ALICE_EFFICIENCY.md.
Philosophy
- Cache-first — список сайтов, user_id кешируются надолго. Отчёты кешируются по ключу host+params. Диагностика, квоты, статусы — всегда live.
- Context window hygiene — stdout ограничен 30 строками. Полные данные в TSV/файл. Кеш доступен через grep/rg.
- Host resolution — все скрипты принимают
--host <domain> (поиск по кешу hosts.tsv) или --host-id <id> (прямой ID). Первый вызов hosts.sh автоматически кеширует список.
- No destructive ops — скилл не удаляет сайты, сайтмапы и фиды. Только чтение и добавление.
Workflow
STOP! Перед любым анализом:
Получи список сайтов:
bash scripts/hosts.sh
Спроси пользователя (если сайт не очевиден из контекста):
"О каком сайте идёт речь?
Укажите домен или host_id из списка."
Для поиска по кешу:
bash scripts/hosts.sh --search "example"
--host и hosts.sh --search принимают полный кириллический домен
(например, хорошие-данные.рф) или URL сайта (https://хорошие-данные.рф/).
Домен автоматически преобразуется в IDNA средствами python3; схема и порт
URL сохраняются. Латиница и готовые имена xn--… не требуют Python.
Поиск по произвольной части кириллического имени не поддерживается:
указывай полный домен. В кеше и результатах остаются исходные ASCII-адреса
и host_id Яндекса.
Получи сводку по сайту:
bash scripts/summary.sh --host example.com
Запускай нужные отчёты по задаче пользователя.
Scripts
Общий паттерн вызова:
bash scripts/<script>.sh --host <domain> [--action <action>] [params...]
Управление сайтами
| Script |
Description |
Key params |
hosts.sh |
Список сайтов |
--search "text", --no-cache |
host_info.sh |
Инфо о сайте + владельцы |
— |
add_site.sh |
Добавить сайт |
--url <url> |
verify.sh |
Верификация сайта |
--action get|start, --method DNS|HTML_FILE|META_TAG |
Статистика сайта
| Script |
Description |
Key params |
summary.sh |
Сводка: SQI, страницы, проблемы |
— |
sqi_history.sh |
История SQI |
--date-from, --date-to |
diagnostics.sh |
Проблемы сайта (live) |
— |
Поисковые запросы
| Script |
Description |
Key params |
popular_queries.sh |
Топ запросов |
--order-by, --device, --limit |
queries_history.sh |
История запросов |
--query-id (опц.), --device |
query_analytics.sh |
Расширенная аналитика (POST) |
--text-indicator, --filter-*, --region-ids |
Индексация
| Script |
Description |
Key params |
indexing.sh |
История/сэмплы индексации |
--action history|samples |
important_urls.sh |
Важные URL |
--action list|history, --url |
archive_export.sh |
Экспорт всех страниц |
--action start|status, --task-id |
Страницы в поиске
| Script |
Description |
Key params |
insearch.sh |
Страницы в выдаче |
--action history|samples |
search_events.sh |
Появление/исчезновение |
--action history|samples |
Переобход
| Script |
Description |
Key params |
recrawl.sh |
Переобход URL |
--action submit|status|list|quota, --url, --task-id |
Ссылки
| Script |
Description |
Key params |
internal_links.sh |
Битые внутренние ссылки |
--action samples|history, --indicator |
external_links.sh |
Внешние ссылки |
--action samples|history |
Сайтмапы
| Script |
Description |
Key params |
sitemaps.sh |
Управление сайтмапами |
--action list|user-list|info|add|recrawl-limit|recrawl |
Alice / Share of Voice (SSR scraping)
| Script |
Description |
Key params |
alice.sh |
Эффективность в Алисе: SoV timeline, конкуренты, запросы где сайт есть/нет |
--action summary|sov|competitors|with-site|without-site|fetch, --no-cache |
⚠ Нет публичного API — данные парсятся из window._initData HTML-страницы.
Для загрузки нужен SESSION_ID cookie в config/.env. Корректный кеш используется
24 часа без загрузки страницы; --no-cache и --action fetch обновляют его принудительно.
Если обновление не удалось, команда завершается с ошибкой, сохраняя прежний JSON.
Диагностика и повторы: references/ALICE_EFFICIENCY.md.
Фиды и PRO
| Script |
Description |
Key params |
feeds.sh |
YML-фиды |
--action list|add|change|add-status, --type, --region-ids |
search_export.sh |
PRO SERP экспорт |
--action dates|limits|start|status |
regions.sh |
Справочник регионов |
--filter "москва" |
Общие параметры
| Param |
Description |
--host <domain> |
Домен/URL сайта (поиск по hosts.tsv) |
--host-id <id> |
Прямой host_id (формат: http:example.com:80) |
--action <act> |
Подкоманда скрипта |
--date-from |
Начало периода YYYY-MM-DD (history: default 90 дней назад) |
--date-to |
Конец периода YYYY-MM-DD |
--limit N |
Число записей |
--offset N |
Смещение |
--no-cache |
Пропустить кеш |
Кеш-стратегия
Кеш в cache/:
user_id.txt — ID пользователя (permanent)
hosts.json + hosts.tsv — список сайтов (permanent, инвалидируется при add/verify)
host_*/queries/*.tsv — результаты запросов (session, hash-keyed)
host_*/indexing/*.tsv — данные индексации (session)
host_*/insearch/*.tsv — данные о поиске (session)
host_*/links/*.tsv — данные о ссылках (session)
host_*/alice/init.json — проверенный объект Alice, общий для всех действий alice.sh, срок кеша — 24 часа
host_*/alice/raw.html — последний полностью полученный HTML для диагностики, без истории версий
- Диагностика, квоты, статусы переобхода — не кешируются (always live)
Расширенные сценарии
- Добавление и верификация сайтов
- Поисковые запросы и аналитика
- Управление сайтмапами
- Статистика сайта и индексация
- Страницы в поиске
- Переобход страниц
- Битые внутренние ссылки
- Внешние ссылки
- YML-фиды
- PRO SERP экспорт
- Alice / Share of Voice (scraping)
- Расписание врачей (спецификация)
Лимиты API
- Query Analytics: 10 000 запросов/час на домен
- Скрипты автоматически обрабатывают 429 (Retry-After ≤ 60s → retry, иначе fail)
- Лимит сайтов: 1703 на аккаунт
- Лимит фидов: 5000 на сайт, 50 в batch
- Лимит export: макс. 100 комбинаций дат+URL
1---2name: yandex-webmaster3description: |4 Управление сайтами через Yandex Webmaster API: индексация, поисковые запросы,5 сайтмапы, переобход, ссылки, фиды, диагностика. Плюс scraping раздела6 Alice / Share of Voice (нет публичного API).7 Triggers: яндекс вебмастер, yandex webmaster, webmaster api,8 вебмастер индексация, вебмастер запросы, вебмастер переобход,9 share of voice, sov, алиса, alice efficiency, конкуренты в алисе.10metadata:11 source: https://skillmd.com/skills/artwist-polyakov/yandex-webmaster12---1314# yandex-webmaster1516Работа с Yandex Webmaster API v4. Управление сайтами, анализ индексации, поисковые запросы, переобход страниц, ссылки, фиды.1718## Config1920Требуется `YANDEX_WEBMASTER_TOKEN` в `config/.env`.21Scope: `webmaster:hostinfo` + `webmaster:verify`.22Инструкция: `config/README.md`.2324Для `alice.sh` (Share of Voice, без публичного API) дополнительно нужен25`SESSION_ID` — cookie из браузера. Подробности в `config/README.md` и26[references/ALICE_EFFICIENCY.md](references/ALICE_EFFICIENCY.md).2728## Philosophy29301. **Cache-first** — список сайтов, user_id кешируются надолго. Отчёты кешируются по ключу host+params. Диагностика, квоты, статусы — всегда live.312. **Context window hygiene** — stdout ограничен 30 строками. Полные данные в TSV/файл. Кеш доступен через grep/rg.323. **Host resolution** — все скрипты принимают `--host <domain>` (поиск по кешу hosts.tsv) или `--host-id <id>` (прямой ID). Первый вызов hosts.sh автоматически кеширует список.334. **No destructive ops** — скилл не удаляет сайты, сайтмапы и фиды. Только чтение и добавление.3435## Workflow3637### STOP! Перед любым анализом:38391. **Получи список сайтов:**40 ```bash41 bash scripts/hosts.sh42 ```43442. **Спроси пользователя** (если сайт не очевиден из контекста):45 ```46 "О каком сайте идёт речь?47 Укажите домен или host_id из списка."48 ```49 Для поиска по кешу:50 ```bash51 bash scripts/hosts.sh --search "example"52 ```5354 `--host` и `hosts.sh --search` принимают полный кириллический домен55 (например, `хорошие-данные.рф`) или URL сайта (`https://хорошие-данные.рф/`).56 Домен автоматически преобразуется в IDNA средствами `python3`; схема и порт57 URL сохраняются. Латиница и готовые имена `xn--…` не требуют Python.58 Поиск по произвольной части кириллического имени не поддерживается:59 указывай полный домен. В кеше и результатах остаются исходные ASCII-адреса60 и `host_id` Яндекса.61623. **Получи сводку по сайту:**63 ```bash64 bash scripts/summary.sh --host example.com65 ```66674. **Запускай нужные отчёты** по задаче пользователя.6869## Scripts7071Общий паттерн вызова:72```bash73bash scripts/<script>.sh --host <domain> [--action <action>] [params...]74```7576### Управление сайтами7778| Script | Description | Key params |79|--------|-------------|------------|80| `hosts.sh` | Список сайтов | `--search "text"`, `--no-cache` |81| `host_info.sh` | Инфо о сайте + владельцы | — |82| `add_site.sh` | Добавить сайт | `--url <url>` |83| `verify.sh` | Верификация сайта | `--action get\|start`, `--method DNS\|HTML_FILE\|META_TAG` |8485### Статистика сайта8687| Script | Description | Key params |88|--------|-------------|------------|89| `summary.sh` | Сводка: SQI, страницы, проблемы | — |90| `sqi_history.sh` | История SQI | `--date-from`, `--date-to` |91| `diagnostics.sh` | Проблемы сайта (live) | — |9293### Поисковые запросы9495| Script | Description | Key params |96|--------|-------------|------------|97| `popular_queries.sh` | Топ запросов | `--order-by`, `--device`, `--limit` |98| `queries_history.sh` | История запросов | `--query-id` (опц.), `--device` |99| `query_analytics.sh` | Расширенная аналитика (POST) | `--text-indicator`, `--filter-*`, `--region-ids` |100101### Индексация102103| Script | Description | Key params |104|--------|-------------|------------|105| `indexing.sh` | История/сэмплы индексации | `--action history\|samples` |106| `important_urls.sh` | Важные URL | `--action list\|history`, `--url` |107| `archive_export.sh` | Экспорт всех страниц | `--action start\|status`, `--task-id` |108109### Страницы в поиске110111| Script | Description | Key params |112|--------|-------------|------------|113| `insearch.sh` | Страницы в выдаче | `--action history\|samples` |114| `search_events.sh` | Появление/исчезновение | `--action history\|samples` |115116### Переобход117118| Script | Description | Key params |119|--------|-------------|------------|120| `recrawl.sh` | Переобход URL | `--action submit\|status\|list\|quota`, `--url`, `--task-id` |121122### Ссылки123124| Script | Description | Key params |125|--------|-------------|------------|126| `internal_links.sh` | Битые внутренние ссылки | `--action samples\|history`, `--indicator` |127| `external_links.sh` | Внешние ссылки | `--action samples\|history` |128129### Сайтмапы130131| Script | Description | Key params |132|--------|-------------|------------|133| `sitemaps.sh` | Управление сайтмапами | `--action list\|user-list\|info\|add\|recrawl-limit\|recrawl` |134135### Alice / Share of Voice (SSR scraping)136137| Script | Description | Key params |138|--------|-------------|------------|139| `alice.sh` | Эффективность в Алисе: SoV timeline, конкуренты, запросы где сайт есть/нет | `--action summary\|sov\|competitors\|with-site\|without-site\|fetch`, `--no-cache` |140141> ⚠ Нет публичного API — данные парсятся из `window._initData` HTML-страницы.142> Для загрузки нужен `SESSION_ID` cookie в `config/.env`. Корректный кеш используется143> 24 часа без загрузки страницы; `--no-cache` и `--action fetch` обновляют его принудительно.144> Если обновление не удалось, команда завершается с ошибкой, сохраняя прежний JSON.145> Диагностика и повторы: [references/ALICE_EFFICIENCY.md](references/ALICE_EFFICIENCY.md).146147### Фиды и PRO148149| Script | Description | Key params |150|--------|-------------|------------|151| `feeds.sh` | YML-фиды | `--action list\|add\|change\|add-status`, `--type`, `--region-ids` |152| `search_export.sh` | PRO SERP экспорт | `--action dates\|limits\|start\|status` |153| `regions.sh` | Справочник регионов | `--filter "москва"` |154155## Общие параметры156157| Param | Description |158|-------|-------------|159| `--host <domain>` | Домен/URL сайта (поиск по hosts.tsv) |160| `--host-id <id>` | Прямой host_id (формат: `http:example.com:80`) |161| `--action <act>` | Подкоманда скрипта |162| `--date-from` | Начало периода YYYY-MM-DD (history: default 90 дней назад) |163| `--date-to` | Конец периода YYYY-MM-DD |164| `--limit N` | Число записей |165| `--offset N` | Смещение |166| `--no-cache` | Пропустить кеш |167168## Кеш-стратегия169170Кеш в `cache/`:171- `user_id.txt` — ID пользователя (permanent)172- `hosts.json` + `hosts.tsv` — список сайтов (permanent, инвалидируется при add/verify)173- `host_*/queries/*.tsv` — результаты запросов (session, hash-keyed)174- `host_*/indexing/*.tsv` — данные индексации (session)175- `host_*/insearch/*.tsv` — данные о поиске (session)176- `host_*/links/*.tsv` — данные о ссылках (session)177- `host_*/alice/init.json` — проверенный объект Alice, общий для всех действий `alice.sh`, срок кеша — 24 часа178- `host_*/alice/raw.html` — последний полностью полученный HTML для диагностики, без истории версий179- Диагностика, квоты, статусы переобхода — **не кешируются** (always live)180181## Расширенные сценарии182183- [Добавление и верификация сайтов](references/SITE_MANAGEMENT.md)184- [Поисковые запросы и аналитика](references/SEARCH_QUERIES.md)185- [Управление сайтмапами](references/SITEMAPS.md)186- [Статистика сайта и индексация](references/SITE_STATS.md)187- [Страницы в поиске](references/PAGES_IN_SEARCH.md)188- [Переобход страниц](references/RECRAWL.md)189- [Битые внутренние ссылки](references/INTERNAL_LINKS.md)190- [Внешние ссылки](references/EXTERNAL_LINKS.md)191- [YML-фиды](references/FEEDS.md)192- [PRO SERP экспорт](references/SEARCH_EXPORT.md)193- [Alice / Share of Voice (scraping)](references/ALICE_EFFICIENCY.md)194- [Расписание врачей (спецификация)](references/DOCTORS_SCHEDULE.md)195196## Лимиты API197198- **Query Analytics**: 10 000 запросов/час на домен199- Скрипты автоматически обрабатывают 429 (Retry-After ≤ 60s → retry, иначе fail)200- Лимит сайтов: 1703 на аккаунт201- Лимит фидов: 5000 на сайт, 50 в batch202- Лимит export: макс. 100 комбинаций дат+URL