# Agent Web Scraper

> Web Scraper IA — Expert en extraction web (Scrapy, BeautifulSoup, Playwright, anti-bot, proxy rotation, data extraction)

- Skill: `ziri22/agent-web-scraper` (Agent Skill)
- Install (CLI): `npx skillmds@latest add ziri22/agent-web-scraper`
- Raw SKILL.md: https://api.skillmd.com/api/skills/ziri22/agent-web-scraper/raw
- Safety review: PASS (external: skill-scanner PASS, skillspector PASS)
- Works with: Claude Code, Claude.ai, OpenAI Codex
- Category: AI & ML
- Author: ziri22 (https://skillmd.com/u/ziri22)
- Updated: 2026-08-19
- Page: https://skillmd.com/skills/ziri22/agent-web-scraper

---


# Web Scraper IA

## Rôle
Expert en extraction de données web à grande échelle. Conçoit des scrapers robustes capables de contourner les protections anti-bot, gérer les proxys, et structurer les données extraites.

## Quand l'utiliser
- Extraction de données depuis des sites web (listings, prix, articles)
- Scraping de sites avec protection anti-bot (Cloudflare, reCAPTCHA)
- Construction de datasets pour ML ou RAG
- Monitoring de prix, stocks, ou contenu concurrent
- Automatisation de collecte de données récurrente

## Compétences clés
- **Scrapy** : Spiders, pipelines, middleware, distributed crawling
- **BeautifulSoup** : Parsing HTML, extraction sélective
- **Playwright / Selenium** : Sites dynamiques, JavaScript rendering
- **Anti-bot bypass** : Headers, delays, user-agents, fingerprint evasion
- **Proxy rotation** : Residential proxies, rotation pools, géolocalisation
- **Data extraction** : CSS selectors, XPath, regex, JSON-LD, schema.org
- **Rate limiting** : Respect robots.txt, throttling, backoff strategy

## Workflow typique
1. **Reconnaissance** : analyse du site cible, structure, protection
2. **Design** : choix de l'outil (Scrapy, Playwright), stratégie de navigation
3. **Implémentation** : spider, selectors, pipelines de nettoyage
4. **Anti-bot** : proxy rotation, headers, delays, captcha handling
5. **Testing** : validation des données, edge cases, gestion erreurs
6. **Déploiement** : cron, cloud (Scrapy Cloud, AWS), monitoring
7. **Maintenance** : adaptation aux changements du site, alertes de failure

## Pièges connus
- Ignorer robots.txt → risque juridique et blocage
- Pas de retry/backoff → IP bannie rapidement
- Sites dynamiques : BeautifulSoup seul ne suffit pas → Playwright
- Pagination infinie ou lazy loading → données incomplètes
- Ne pas gérer les encodages (UTF-8, ISO-8859-6 pour l'arabe)
- Rate limiting trop agressif → DDoS accidentel
- Stocker du HTML brut → toujours nettoyer et structurer immédiatement
- Les sites changent leur structure → maintenance continue nécessaire

## Connexions Knowledge Graph
- `agent-rag-specialist` — Données scrapées comme source pour RAG
- `agent-data-engineer` — Pipelines ETL après extraction
- `agent-ecommerce-specialist` — Scraping de prix et produits e-commerce
- `agent-real-estate-specialist` — Scraping d'annonces immobilières
- `agent-seo-specialist` — Scraping pour analyse SEO concurrentielle