Web To Markdown

Web to Markdown — 웹페이지 → 마크다운 변환

JS 렌더링 페이지도 깨끗하게 마크다운으로 변환. Puppeteer + Readability + Turndown 파이프라인.

Quick Start

/web2md https://example.com                     # 파일로 저장 (자동 이름)
/web2md https://example.com --print              # 터미널 출력
/web2md https://example.com --out ./docs/ref.md  # 경로 지정
/web2md urls.txt                                 # 배치 변환 (파일에 URL 목록)
/web2md https://app.example.com --interactive    # 로그인 필요 페이지
/web2md https://example.com --selector "main"    # 특정 영역만 추출

공식 호출명: /web2md

사전 확인

# web2md 설치 확인
command -v web2md || echo "미설치 — 아래 설치 절차 참조"

# 설치 (프로젝트 존재 시)
cd ~/workspace/softaworks/projects/web2md && npm install && npm run build && npm link

Workflow

1. 단일 URL 변환

# 자동 이름으로 저장
mkdir -p ./out && web2md 'https://docs.example.com/guide' --out ./out/

# 지정 파일명으로 저장
web2md 'https://docs.example.com/guide' --out ./docs/guide.md

# 터미널 출력 (파이프에 유용)
web2md 'https://docs.example.com/guide' --print

2. 배치 변환 (여러 URL)

# URL 목록 파일에서 일괄 변환
mkdir -p ./out
while IFS= read -r url; do
  [ -n "$url" ] && web2md "$url" --out ./out/
done < urls.txt

3. 로그인 필요 페이지 (Interactive Mode)

# 브라우저 창이 열리고, 로그인 완료 후 Enter
web2md 'https://app.example.com/dashboard' \
  --interactive \
  --user-data-dir ./tmp/web2md-profile \
  --out ./out/

# 세션 재사용 (두 번째부터 로그인 불필요)
web2md 'https://app.example.com/settings' \
  --user-data-dir ./tmp/web2md-profile \
  --out ./out/

4. 까다로운 페이지 처리

5. 선택적 콘텐츠 추출

# 본문만 추출 (사이드바, 푸터 제외)
web2md 'https://blog.example.com/post' --selector 'article.post-content'

# 여러 선택자 (첫 번째 매칭)
web2md 'https://docs.example.com' --selector 'main, .docs-content, #content'

출력 품질 개선

출력 파일 구조

---
title: Page Title
url: https://example.com/page
date: 2026-04-16
---

# Page Title

본문 내용...

검증

# 파일 존재 + 크기 확인
ls -la ./out/*.md

# 빈 파일 감지
find ./out -name "*.md" -empty

비교: 언제 어떤 도구를 쓰나?

요구사항

• Node.js 18+
• Chrome/Chromium/Edge (Puppeteer가 자동 감지)
• web2md CLI (npm link 또는 npm install -g)

Related Files