Scrapling

scrapling - 高度なWebスクレイピング

tegnike 25e275e 2 files · 2.9 KB Updated

File contents

scrapling - 高度なWebスクレイピング

Scraplingライブラリを使ったアンチボット対応Webスクレイピングシステム。

Features

  • Cloudflare対策
  • JavaScriptレンダリング対応
  • ブラウザフィンガープリント偽装
  • 自動リトライ・セッション管理

Usage

@nikechan Scraplingで{URL}取得して
@nikechan {URL}の内容教えて(Scrapling使用)

Dependencies

  • scrapling>=0.4

Example

from scrapling import Fetcher

fetcher = Fetcher()
page = fetcher.get("https://example.com")
print(page.text)

tegnike/openclaw-nikechan-discord/tree/main/skills/scrapling commit 25e275eb37

Frequently asked questions

npx skillmds@latest add tegnike/scrapling