Deep Research — Capítulos de Curso para Academy
Skill de investigación profunda (inspirado en Google Gemini Deep Research) que produce
capítulos de curso estructurados para el repo ../academia. Combina:
- Notion recursive crawl — vía
notion-chimeranext MCP (REST API) para resolver el
blind spot de bookmarks del MCP nativo.
- Scrapers web —
crw (rápido, URL→markdown), Scrapling (stealth/dynamic
fallback), yt-dlp (transcripts), webfetch (último recurso).
- Síntesis por capítulos — el agente organiza el contenido crawlado en
capítulos de curso listos para
new-course.
When to use
- User pide "deep research", "investigación profunda", "armar un capítulo",
"investigar este tema para un curso", "research para academy".
- User tiene una DB de Notion tipo "Biblioteca de Guías" y quiere convertirla
en contenido de curso.
- User quiere scrapear contenido web (YouTube, artículos, PDFs) para
alimentar capítulos de curso.
Scrapers disponibles (tools del agente)
| Tool |
Uso |
Cuándo |
crw <url> |
URL→markdown rápido |
artículos, PDFs, páginas estáticas |
Scrapling |
stealth fetch dinámico |
sitios con anti-bot, JS-rendered |
yt-dlp --write-subs --skip-download |
transcript YouTube |
videos |
webfetch |
fallback HTTP |
cuando crw/Scrapling fallan |
Importante: estos son tools del agente (shell/CLI), no herramientas de
herramientas. Se invocan desde el shell del agente. Nunca uses 2>/dev/null.
Pipeline
Step 1 — Notion crawl (si hay DB de Notion)
/deep-research <notion-db-url> --out docs/<tema>/
query_database primero (inventario: título + URL por fila).
fetch_tree {root, max_depth, max_pages} → markdown por página + inventario.
- Escribe
docs/<tema>/sitemap.yaml con el árbol recursivo.
Step 2 — Enriquecer recursos externos
scripts/notion-enrich.py --sitemap docs/<tema>/sitemap.yaml
Para cada resources[] por kind:
youtube → yt-dlp --write-subs --skip-download -o <out>/yt_%(id)s <url>
article → crw <url> → markdown
pdf → crw <url> → extract
image → curl -sS -o <out>/assets/<nombre> <url>
bookmark → resolver destino vía REST API → recargar según el destino
notion_page → fetch_tree recursivo
Step 3 — Síntesis del capítulo
El agente (no un script) organiza el contenido crawlado en un capítulo:
- Leer el sitemap + el contenido de cada página.
- Por cada guía, extraer: conceptos clave, pasos, herramientas, ejemplos.
- Escribir
docs/<tema>/capitulos/<capitulo>.md con:
- Frontmatter (título, fuente, fecha de extracción)
- Objetivos de aprendizaje
- Conceptos clave (definiciones)
- Procedimientos paso a paso
- Recursos externos (URLs verbatim)
- Ejemplos y casos
- Generar
docs/<tema>/manifest.json con estado por recurso.
Step 4 — Verificación
- Cada página de
fetch_tree aterrizó en exactamente un archivo.
- Cada bookmark URL se resolvió a un destino real (nunca
<unknown>).
- Sin
2>/dev/null en ningún script.
- El manifest registra estado por recurso (dumped/enriched/pending/failed).
Sitemap YAML spec (v1)
version: 1
source:
notion_database: <url>
data_source: collection://<id>
guides_count: N
extracted_at: "<ISO>"
extraction_mode: recursive
guides:
- id: "01"
skill: "Skill Name"
type: Dura Tecnológica | Dura en Finanzas | Blanda Corporativa | Blanda Personal
notion_url: https://app.notion.com/p/<id>
local_path: docs/<tema>/<slug>/
children:
- { kind: notion_page, title: "...", notion_url: ..., local_path: ... }
resources:
- { kind: youtube, url: "..." }
- { kind: article, url: "..." }
Node kinds (fixed enum)
notion_page | youtube | article | pdf | image | bookmark | notion_page_mention
Contract
local_path of hub = folder; each subguide = .md. The wrapper dumps there.
resources = inventory of external URLs only; NOT resolved in the sitemap.
- If
local_path doesn't exist when the wrapper runs → fail explicitly (never silently).
- The YAML is regenerable from
notion-chimeranext; never edit by hand.
Reusabilidad
Cualquier startup con una DB de Notion tipo "Biblioteca de Guías" puede apuntar
el crawler a su propia URL y obtener un volcado local + sitemap. La DB Vertivo
es la instancia de referencia.
Related
shared/mcp/notion-chimeranext/ — custom MCP (REST API) que bypassa el blind spot del nativo.
references/deep-research/protocol.md — command SSOT.
commands/deep-research.md — thin entry.
1---2name: deep-research3description: Deep research (estilo Google Gemini Deep Research) que produce capítulos de curso estructurados para el repo ../academy. Combina Notion recursive crawl + scrapers web (crw, Scrapling, yt-dlp, webfetch) + síntesis por capítulos. Use cuando el usuario pide "deep research", "investigación profunda", "armar capítulo", "investigar tema para curso", "research para academy", o cuando necesita contenido de curso basado en fuentes web/Notion. No confundir con research-methodology (que es el proceso de investigación académica, no la producción de capítulos).4metadata:5 source: https://skillmd.com/skills/chimeranext/deep-research6---78# Deep Research — Capítulos de Curso para Academy910Skill de investigación profunda (inspirado en Google Gemini Deep Research) que produce11capítulos de curso estructurados para el repo `../academia`. Combina:12131. **Notion recursive crawl** — vía `notion-chimeranext` MCP (REST API) para resolver el14 blind spot de bookmarks del MCP nativo.152. **Scrapers web** — `crw` (rápido, URL→markdown), `Scrapling` (stealth/dynamic16 fallback), `yt-dlp` (transcripts), `webfetch` (último recurso).173. **Síntesis por capítulos** — el agente organiza el contenido crawlado en18 capítulos de curso listos para `new-course`.1920## When to use2122- User pide "deep research", "investigación profunda", "armar un capítulo",23 "investigar este tema para un curso", "research para academy".24- User tiene una DB de Notion tipo "Biblioteca de Guías" y quiere convertirla25 en contenido de curso.26- User quiere scrapear contenido web (YouTube, artículos, PDFs) para27 alimentar capítulos de curso.2829## Scrapers disponibles (tools del agente)3031| Tool | Uso | Cuándo |32|------|-----|--------|33| `crw <url>` | URL→markdown rápido | artículos, PDFs, páginas estáticas |34| `Scrapling` | stealth fetch dinámico | sitios con anti-bot, JS-rendered |35| `yt-dlp --write-subs --skip-download` | transcript YouTube | videos |36| `webfetch` | fallback HTTP | cuando crw/Scrapling fallan |3738**Importante:** estos son tools del agente (shell/CLI), no herramientas de39herramientas. Se invocan desde el shell del agente. Nunca uses `2>/dev/null`.4041## Pipeline4243### Step 1 — Notion crawl (si hay DB de Notion)4445```bash46/deep-research <notion-db-url> --out docs/<tema>/47```4849- `query_database` primero (inventario: título + URL por fila).50- `fetch_tree {root, max_depth, max_pages}` → markdown por página + inventario.51- Escribe `docs/<tema>/sitemap.yaml` con el árbol recursivo.5253### Step 2 — Enriquecer recursos externos5455```bash56scripts/notion-enrich.py --sitemap docs/<tema>/sitemap.yaml57```5859Para cada `resources[]` por `kind`:60- `youtube` → `yt-dlp --write-subs --skip-download -o <out>/yt_%(id)s <url>`61- `article` → `crw <url>` → markdown62- `pdf` → `crw <url>` → extract63- `image` → `curl -sS -o <out>/assets/<nombre> <url>`64- `bookmark` → resolver destino vía REST API → recargar según el destino65- `notion_page` → `fetch_tree` recursivo6667### Step 3 — Síntesis del capítulo6869El agente (no un script) organiza el contenido crawlado en un capítulo:70711. Leer el sitemap + el contenido de cada página.722. Por cada guía, extraer: conceptos clave, pasos, herramientas, ejemplos.733. Escribir `docs/<tema>/capitulos/<capitulo>.md` con:74 - Frontmatter (título, fuente, fecha de extracción)75 - Objetivos de aprendizaje76 - Conceptos clave (definiciones)77 - Procedimientos paso a paso78 - Recursos externos (URLs verbatim)79 - Ejemplos y casos804. Generar `docs/<tema>/manifest.json` con estado por recurso.8182### Step 4 — Verificación8384- Cada página de `fetch_tree` aterrizó en exactamente un archivo.85- Cada bookmark URL se resolvió a un destino real (nunca `<unknown>`).86- Sin `2>/dev/null` en ningún script.87- El manifest registra estado por recurso (dumped/enriched/pending/failed).8889## Sitemap YAML spec (v1)9091```yaml92version: 193source:94 notion_database: <url>95 data_source: collection://<id>96 guides_count: N97 extracted_at: "<ISO>"98 extraction_mode: recursive99guides:100 - id: "01"101 skill: "Skill Name"102 type: Dura Tecnológica | Dura en Finanzas | Blanda Corporativa | Blanda Personal103 notion_url: https://app.notion.com/p/<id>104 local_path: docs/<tema>/<slug>/105 children:106 - { kind: notion_page, title: "...", notion_url: ..., local_path: ... }107 resources:108 - { kind: youtube, url: "..." }109 - { kind: article, url: "..." }110```111112### Node kinds (fixed enum)113`notion_page | youtube | article | pdf | image | bookmark | notion_page_mention`114115### Contract116- `local_path` of hub = folder; each subguide = `.md`. The wrapper dumps there.117- `resources` = inventory of external URLs only; NOT resolved in the sitemap.118- If `local_path` doesn't exist when the wrapper runs → fail explicitly (never silently).119- The YAML is regenerable from `notion-chimeranext`; never edit by hand.120121## Reusabilidad122123Cualquier startup con una DB de Notion tipo "Biblioteca de Guías" puede apuntar124el crawler a su propia URL y obtener un volcado local + sitemap. La DB Vertivo125es la instancia de referencia.126127## Related128129- `shared/mcp/notion-chimeranext/` — custom MCP (REST API) que bypassa el blind spot del nativo.130- `references/deep-research/protocol.md` — command SSOT.131- `commands/deep-research.md` — thin entry.