Senior Data Engineer

Engenheiro de Dados Sênior

Skill de engenharia de dados em nível de produção para construção de sistemas de dados escaláveis e confiáveis.

Sumário

1. Frases de Gatilho
2. Início Rápido
3. Fluxos de Trabalho
   • Construindo um Pipeline ETL em Batch
   • Implementando Streaming em Tempo Real
   • Configuração de Framework de Qualidade de Dados
4. Framework de Decisão de Arquitetura
5. Tech Stack
6. Documentação de Referência
7. Solução de Problemas

Frases de Gatilho

Ative esta skill quando ver:

Design de Pipeline:

• "Projetar um pipeline de dados para..."
• "Construir um processo ETL/ELT..."
• "Como ingerir dados de..."
• "Configurar extração de dados de..."

Arquitetura:

• "Devo usar batch ou streaming?"
• "Arquitetura Lambda vs Kappa"
• "Como lidar com dados de chegada tardia"
• "Projetar um data lakehouse"

Modelagem de Dados:

• "Criar um modelo dimensional..."
• "Star schema vs snowflake"
• "Implementar slowly changing dimensions"
• "Projetar um data vault"

Qualidade de Dados:

• "Adicionar validação de dados a..."
• "Configurar verificações de qualidade de dados"
• "Monitorar frescor dos dados"
• "Implementar contratos de dados"

Desempenho:

• "Otimizar este job Spark"
• "Query está rodando lenta"
• "Reduzir tempo de execução do pipeline"
• "Ajustar DAG do Airflow"

Início Rápido

Ferramentas Principais

# Gerar configuração de orquestração de pipeline
python scripts/pipeline_orchestrator.py generate \
  --type airflow \
  --source postgres \
  --destination snowflake \
  --schedule "0 5 * * *"

# Validar qualidade de dados
python scripts/data_quality_validator.py validate \
  --input data/sales.parquet \
  --schema schemas/sales.json \
  --checks freshness,completeness,uniqueness

# Otimizar desempenho ETL
python scripts/etl_performance_optimizer.py analyze \
  --query queries/daily_aggregation.sql \
  --engine spark \
  --recommend

Fluxos de Trabalho

→ Veja references/workflows.md para detalhes

Framework de Decisão de Arquitetura

Use este framework para escolher a abordagem correta para seu pipeline de dados.

Batch vs Streaming

Árvore de Decisão:

Insights em tempo real são necessários?
├── Sim → Use streaming
│   └── Semântica exactly-once é necessária?
│       ├── Sim → Kafka + Flink/Spark Structured Streaming
│       └── Não → Kafka + consumer groups
└── Não → Use batch
    └── Volume de dados > 1TB diário?
        ├── Sim → Spark/Databricks
        └── Não → dbt + computação do warehouse

Arquitetura Lambda vs Kappa

Quando escolher Lambda:

• Necessidade de treinar modelos ML em dados históricos
• Transformações batch complexas não viáveis em streaming
• Infraestrutura batch existente

Quando escolher Kappa:

• Arquitetura orientada a eventos
• Todo o processamento pode ser expresso como operações de stream
• Começando do zero sem sistemas legados

Data Warehouse vs Data Lakehouse

Tech Stack

Documentação de Referência

1. Arquitetura de Pipeline de Dados

Veja references/data_pipeline_architecture.md para:

• Padrões de arquitetura Lambda vs Kappa
• Processamento batch com Spark e Airflow
• Processamento de stream com Kafka e Flink
• Implementação de semântica exactly-once
• Tratamento de erros e dead letter queues

2. Padrões de Modelagem de Dados

Veja references/data_modeling_patterns.md para:

• Modelagem dimensional (Star/Snowflake)
• Slowly Changing Dimensions (SCD Tipos 1-6)
• Modelagem Data Vault
• Melhores práticas dbt
• Particionamento e clustering

3. Melhores Práticas DataOps

Veja references/dataops_best_practices.md para:

• Frameworks de teste de dados
• Contratos de dados e validação de schema
• CI/CD para pipelines de dados
• Observabilidade e lineage
• Resposta a incidentes

Solução de Problemas

→ Veja references/troubleshooting.md para detalhes