# Data Pipeline Architect

> ---

- Skill: `lucasvpimentel/data-pipeline-architect` (Agent Skill)
- Install (CLI): `npx skillmds@latest add lucasvpimentel/data-pipeline-architect`
- Raw SKILL.md: https://api.skillmd.com/api/skills/lucasvpimentel/data-pipeline-architect/raw
- Safety review: pending
- Works with: Claude Code, Claude.ai, OpenAI Codex
- Category: DevOps & Infra
- Author: lucasvpimentel (https://skillmd.com/u/lucasvpimentel)
- Updated: 2026-09-22
- Page: https://skillmd.com/skills/lucasvpimentel/data-pipeline-architect

---

---
description: "Arquitetura de pipeline de dados: camadas (bronze/silver/gold), idempotência, orquestração, observabilidade e custos."
license: "MIT"
keywords: ["data","pipeline","architecture","etl","elt","orchestration","observability"]
---

# Data Pipeline Architect

## Objetivo
Desenhar pipeline robusto e escalável, com governança e observabilidade.

## Procedimento
1. Contexto:
   - fonte(s), frequência, SLA, volume, latência, custo
2. Modelagem de camadas:
   - Bronze: raw + audit columns
   - Silver: limpeza + padronização + dedupe
   - Gold: agregações e modelos analíticos
3. Requisitos não-funcionais:
   - idempotência
   - reprocessamento
   - versionamento de schema
   - lineage básico
4. Operação:
   - orquestração (DAG), retries, backfills
   - métricas (linhas, tempo, custo)
   - alertas (falha, atraso, anomalia)

## Saída obrigatória
### Diagrama lógico (camadas)
### Contratos por camada
### Estratégia de reprocessamento
### Observabilidade e alertas
### Checklist de produção