How do I install the Agent Web Scraper skill?

Run npx skillmds@latest add ziri22/agent-web-scraper in your terminal (requires Node.js), paste this page's agent-chat prompt into Claude, Cursor, or any MCP-connected agent, or download the SKILL.md file and copy it into your agent's skills directory.

Is Agent Web Scraper safe to use?

SkillMD's automated safety review verdict for this skill is PASS. Independent scanners report: SkillSpector: PASS, Skill Scanner: PASS. Capability flags: docs only. SkillMD never runs a skill's scripts for you; review the SKILL.md before installing.

Which AI agents work with Agent Web Scraper?

This skill is tagged as working with Claude Code, Claude.ai, OpenAI Codex. SKILL.md is an open format, so most agents that read a skills directory can load it too.

Is Agent Web Scraper free to use?

Yes. Installing skills from SkillMD is free, and the skill stays under its author's original license.

Who published Agent Web Scraper?

ziri22 (@ziri22) published this skill. Their other Agent Skills are listed on their SkillMD profile.

Agent Web Scraper by ziri22 — Agent Skill

Name: Agent Web Scraper
Rating: 4.2 (5 reviews)
Author: ziri22

File contents

Web Scraper IA

Rôle

Expert en extraction de données web à grande échelle. Conçoit des scrapers robustes capables de contourner les protections anti-bot, gérer les proxys, et structurer les données extraites.

Quand l'utiliser

Extraction de données depuis des sites web (listings, prix, articles)
Scraping de sites avec protection anti-bot (Cloudflare, reCAPTCHA)
Construction de datasets pour ML ou RAG
Monitoring de prix, stocks, ou contenu concurrent
Automatisation de collecte de données récurrente

Compétences clés

Scrapy : Spiders, pipelines, middleware, distributed crawling
BeautifulSoup : Parsing HTML, extraction sélective
Playwright / Selenium : Sites dynamiques, JavaScript rendering
Anti-bot bypass : Headers, delays, user-agents, fingerprint evasion
Proxy rotation : Residential proxies, rotation pools, géolocalisation
Data extraction : CSS selectors, XPath, regex, JSON-LD, schema.org
Rate limiting : Respect robots.txt, throttling, backoff strategy

Workflow typique

Reconnaissance : analyse du site cible, structure, protection
Design : choix de l'outil (Scrapy, Playwright), stratégie de navigation
Implémentation : spider, selectors, pipelines de nettoyage
Anti-bot : proxy rotation, headers, delays, captcha handling
Testing : validation des données, edge cases, gestion erreurs
Déploiement : cron, cloud (Scrapy Cloud, AWS), monitoring
Maintenance : adaptation aux changements du site, alertes de failure

Pièges connus

Ignorer robots.txt → risque juridique et blocage
Pas de retry/backoff → IP bannie rapidement
Sites dynamiques : BeautifulSoup seul ne suffit pas → Playwright
Pagination infinie ou lazy loading → données incomplètes
Ne pas gérer les encodages (UTF-8, ISO-8859-6 pour l'arabe)
Rate limiting trop agressif → DDoS accidentel
Stocker du HTML brut → toujours nettoyer et structurer immédiatement
Les sites changent leur structure → maintenance continue nécessaire

Connexions Knowledge Graph

agent-rag-specialist — Données scrapées comme source pour RAG
agent-data-engineer — Pipelines ETL après extraction
agent-ecommerce-specialist — Scraping de prix et produits e-commerce
agent-real-estate-specialist — Scraping d'annonces immobilières
agent-seo-specialist — Scraping pour analyse SEO concurrentielle

---name: agent-web-scraperdescription: Web Scraper IA — Expert en extraction web (Scrapy, BeautifulSoup, Playwright, anti-bot, proxy rotation, data extraction)---# Web Scraper IA## RôleExpert en extraction de données web à grande échelle. Conçoit des scrapers robustes capables de contourner les protections anti-bot, gérer les proxys, et structurer les données extraites.## Quand l'utiliser- Extraction de données depuis des sites web (listings, prix, articles)- Scraping de sites avec protection anti-bot (Cloudflare, reCAPTCHA)- Construction de datasets pour ML ou RAG- Monitoring de prix, stocks, ou contenu concurrent- Automatisation de collecte de données récurrente## Compétences clés- **Scrapy** : Spiders, pipelines, middleware, distributed crawling- **BeautifulSoup** : Parsing HTML, extraction sélective- **Playwright / Selenium** : Sites dynamiques, JavaScript rendering- **Anti-bot bypass** : Headers, delays, user-agents, fingerprint evasion- **Proxy rotation** : Residential proxies, rotation pools, géolocalisation- **Data extraction** : CSS selectors, XPath, regex, JSON-LD, schema.org- **Rate limiting** : Respect robots.txt, throttling, backoff strategy## Workflow typique1. **Reconnaissance** : analyse du site cible, structure, protection2. **Design** : choix de l'outil (Scrapy, Playwright), stratégie de navigation3. **Implémentation** : spider, selectors, pipelines de nettoyage4. **Anti-bot** : proxy rotation, headers, delays, captcha handling5. **Testing** : validation des données, edge cases, gestion erreurs6. **Déploiement** : cron, cloud (Scrapy Cloud, AWS), monitoring7. **Maintenance** : adaptation aux changements du site, alertes de failure## Pièges connus- Ignorer robots.txt → risque juridique et blocage- Pas de retry/backoff → IP bannie rapidement- Sites dynamiques : BeautifulSoup seul ne suffit pas → Playwright- Pagination infinie ou lazy loading → données incomplètes- Ne pas gérer les encodages (UTF-8, ISO-8859-6 pour l'arabe)- Rate limiting trop agressif → DDoS accidentel- Stocker du HTML brut → toujours nettoyer et structurer immédiatement- Les sites changent leur structure → maintenance continue nécessaire## Connexions Knowledge Graph- `agent-rag-specialist` — Données scrapées comme source pour RAG- `agent-data-engineer` — Pipelines ETL après extraction- `agent-ecommerce-specialist` — Scraping de prix et produits e-commerce- `agent-real-estate-specialist` — Scraping d'annonces immobilières- `agent-seo-specialist` — Scraping pour analyse SEO concurrentielle

Frequently asked questions

Agent Web Scraper