Bright Data - Structured Data Feeds
Extraia dados estruturados de grandes sites com parsing automático. Sem lógica de scraping necessária — apenas forneça uma URL e obtenha dados JSON limpos.
Configuração
Variáveis de Ambiente (Obrigatórias)
export BRIGHTDATA_API_KEY="your-api-key"
Opcional
export BRIGHTDATA_POLLING_TIMEOUT=600 # Máximo de segundos para aguardar (padrão: 600)
Obtenha sua chave de API no Painel Bright Data.
Uso
bash scripts/datasets.sh <dataset_type> <url> [additional_params...]
Datasets Disponíveis
E-Commerce
| Dataset |
Comando |
Descrição |
| Amazon Product |
datasets.sh amazon_product <url> |
Detalhes do produto, preço, classificações |
| Amazon Reviews |
datasets.sh amazon_product_reviews <url> |
Avaliações de clientes de um produto |
| Amazon Search |
datasets.sh amazon_product_search <keyword> <domain_url> |
Resultados de busca |
| Walmart Product |
datasets.sh walmart_product <url> |
Detalhes do produto da Walmart |
| Walmart Seller |
datasets.sh walmart_seller <url> |
Informações do vendedor |
| eBay Product |
datasets.sh ebay_product <url> |
Detalhes do anúncio eBay |
| Home Depot |
datasets.sh homedepot_products <url> |
Dados de produtos Home Depot |
| Zara |
datasets.sh zara_products <url> |
Detalhes de produtos Zara |
| Etsy |
datasets.sh etsy_products <url> |
Dados de anúncios Etsy |
| Best Buy |
datasets.sh bestbuy_products <url> |
Informações de produtos Best Buy |
Redes Profissionais
| Dataset |
Comando |
Descrição |
| LinkedIn Person |
datasets.sh linkedin_person_profile <url> |
Dados de perfil (experiência, habilidades) |
| LinkedIn Company |
datasets.sh linkedin_company_profile <url> |
Dados de página de empresa |
| LinkedIn Jobs |
datasets.sh linkedin_job_listings <url> |
Detalhes de vagas de emprego |
| LinkedIn Posts |
datasets.sh linkedin_posts <url> |
Conteúdo e engajamento de posts |
| LinkedIn Search |
datasets.sh linkedin_people_search <url> <first> <last> |
Encontrar pessoas |
| Crunchbase |
datasets.sh crunchbase_company <url> |
Financiamento e funcionários da empresa |
| ZoomInfo |
datasets.sh zoominfo_company_profile <url> |
Dados de perfil da empresa |
Instagram
| Dataset |
Comando |
Descrição |
| Profiles |
datasets.sh instagram_profiles <url> |
Bio, seguidores, seguindo |
| Posts |
datasets.sh instagram_posts <url> |
Detalhes de posts, curtidas, legendas |
| Reels |
datasets.sh instagram_reels <url> |
Dados de Reels e métricas |
| Comments |
datasets.sh instagram_comments <url> |
Comentários de posts |
Facebook
| Dataset |
Comando |
Descrição |
| Posts |
datasets.sh facebook_posts <url> |
Conteúdo e reações de posts |
| Marketplace |
datasets.sh facebook_marketplace_listings <url> |
Detalhes de anúncios |
| Reviews |
datasets.sh facebook_company_reviews <url> [num] |
Avaliações de empresa |
| Events |
datasets.sh facebook_events <url> |
Detalhes de eventos |
TikTok
| Dataset |
Comando |
Descrição |
| Profiles |
datasets.sh tiktok_profiles <url> |
Dados de perfil de criador |
| Posts |
datasets.sh tiktok_posts <url> |
Detalhes de vídeos e métricas |
| Shop |
datasets.sh tiktok_shop <url> |
Dados de produtos TikTok Shop |
| Comments |
datasets.sh tiktok_comments <url> |
Comentários de vídeos |
YouTube
| Dataset |
Comando |
Descrição |
| Profiles |
datasets.sh youtube_profiles <url> |
Dados de canal |
| Videos |
datasets.sh youtube_videos <url> |
Detalhes de vídeos e estatísticas |
| Comments |
datasets.sh youtube_comments <url> [num] |
Comentários de vídeos (padrão: 10) |
Outras Redes Sociais
| Dataset |
Comando |
Descrição |
| X (Twitter) |
datasets.sh x_posts <url> |
Dados de tweets |
| Reddit |
datasets.sh reddit_posts <url> |
Dados de posts e comentários |
Google Services
| Dataset |
Comando |
Descrição |
| Maps Reviews |
datasets.sh google_maps_reviews <url> [days] |
Avaliações de negócio (padrão: 3 dias) |
| Shopping |
datasets.sh google_shopping <url> |
Dados de comparação de produtos |
| Play Store |
datasets.sh google_play_store <url> |
Detalhes de aplicativo e avaliações |
Outros
| Dataset |
Comando |
Descrição |
| Apple App Store |
datasets.sh apple_app_store <url> |
Dados de aplicativo iOS |
| Reuters News |
datasets.sh reuter_news <url> |
Conteúdo de artigos de notícias |
| GitHub |
datasets.sh github_repository_file <url> |
Dados de arquivo de repositório |
| Yahoo Finance |
datasets.sh yahoo_finance_business <url> |
Dados de ações e empresa |
| Zillow |
datasets.sh zillow_properties_listing <url> |
Detalhes de listagem de propriedade |
| Booking.com |
datasets.sh booking_hotel_listings <url> |
Dados de listagem de hotel |
Exemplos
Obter Perfil LinkedIn
bash scripts/datasets.sh linkedin_person_profile "https://www.linkedin.com/in/satyanadella/"
Obter Produto Amazon
bash scripts/datasets.sh amazon_product "https://www.amazon.com/dp/B09V3KXJPB"
Obter Perfil Instagram
bash scripts/datasets.sh instagram_profiles "https://www.instagram.com/natgeo/"
Obter Comentários YouTube
bash scripts/datasets.sh youtube_comments "https://www.youtube.com/watch?v=dQw4w9WgXcQ" 20
Buscar na Amazon
bash scripts/datasets.sh amazon_product_search "wireless headphones" "https://www.amazon.com"
Formato de Saída
Retorna JSON estruturado com campos específicos do site. Exemplo para perfil LinkedIn:
{
"name": "Satya Nadella",
"headline": "Chairman and CEO at Microsoft",
"location": "Greater Seattle Area",
"connections": "500+",
"experience": [...],
"education": [...],
"skills": [...]
}
Como Funciona
- Trigger: Envia URL para a Web Data API do Bright Data
- Poll: Aguarda a conclusão da coleta de dados (verifica a cada segundo)
- Return: Retorna JSON estruturado quando pronto
O mecanismo de polling lida com limites de taxa e garante qualidade de dados aguardando a extração completa.
Avançado: Fetch Direto
Para IDs de dataset personalizados ou casos de uso avançados:
bash scripts/fetch.sh <dataset_id> '<json_input>'
Exemplo:
bash scripts/fetch.sh gd_l1viktl72bvl7bjuj0 '{"url":"https://linkedin.com/in/someone"}'
artubss