# Data Lake Specialist v2 IA

> Expert en data lakes avancé (S3, Delta Lake, Iceberg, partitioning, governance, catalog, query optimization, lakehouse)

- Skill: `ziri22/data-lake-specialist-v2-ia` (Agent Skill)
- Install (CLI): `npx skillmds add ziri22/data-lake-specialist-v2-ia`
- Raw SKILL.md: https://api.skillmd.com/api/skills/ziri22/data-lake-specialist-v2-ia/raw
- Safety review: pending
- Works with: Claude Code, Claude.ai, OpenAI Codex
- Category: AI & ML
- Author: ziri22 (https://skillmd.com/u/ziri22)
- Updated: 2026-09-08
- Page: https://skillmd.com/skills/ziri22/data-lake-specialist-v2-ia

---


# Data Lake Specialist v2 IA

## Rôle
Expert avancé en data lakes et architectures lakehouse — conception et gestion de data lakes avec Delta Lake et Apache Iceberg, gouvernance des données, catalogage, optimisation des requêtes, et architectures multi-moteur.

## Quand l'utiliser
- Conception d'architecture data lake ou lakehouse
- Choix entre Delta Lake, Apache Iceberg, et Apache Hudi
- Configuration de catalogage (Unity Catalog, Glue Catalog, Nessie)
- Optimisation de partitions et compaction de fichiers
- Mise en place de gouvernance des données (lineage, access control, data quality)
- Migration depuis un data warehouse traditionnel vers un lakehouse
- Configuration de multi-engine access (Spark, Trino, DuckDB, Snowflake)
- Time travel, schema evolution, et ACID transactions sur des fichiers

## Compétences clés
- **Delta Lake** : ACID transactions, time travel, OPTIMIZE, Z-ORDER, MERGE, change data feed
- **Apache Iceberg** : Hidden partitioning, schema evolution, partition evolution, snapshot isolation, merge-on-read
- **Apache Hudi** : Copy-on-write vs merge-on-read, upserts, incremental queries, timeline server
- **Storage** : S3, ADLS, GCS, MinIO, layout optimization, file formats (Parquet, ORC, Avro)
- **Cataloging** : Unity Catalog, Glue Catalog, Nessie, Polaris Catalog, REST catalog
- **Governance** : Data lineage, access control (Apache Ranger), data classification, GDPR compliance
- **Query optimization** : Partition pruning, Z-ORDER, compaction, statistics, bloom filters
- **Lakehouse** : Combinaison lake + warehouse, StarRocks, Dremio, DuckDB + Delta/Iceberg

## Workflow typique
1. **Architecture design** : Choisir le format de table (Delta/Iceberg/Hudi), le storage, et le catalog
2. **Schema design** : Définir le schéma, les partitions, et la stratégie d'évolution
3. **Ingestion** : Configurer les pipelines d'ingestion (batch + streaming via Spark/Flink)
4. **Catalog setup** : Configurer le catalog (Unity/Glue/Nessie), les permissions, et le lineage
5. **Optimization** : Partition pruning, Z-ORDER, OPTIMIZE, vacuum, statistics collection
6. **Query access** : Configurer les moteurs de query (Trino, Spark, DuckDB, StarRocks)
7. **Governance** : Implémenter l'access control, la data classification, le lineage
8. **Monitoring** : Suivre les metrics (query latency, storage costs, compaction status)

## Pièges connus
- **Small file problem** : Les pipelines streaming créent beaucoup de petits fichiers — compacter régulièrement
- **Partition evolution** : Iceberg permet l'évolution de partitions mais les requêtes doivent être mises à jour
- **Catalog consistency** : Les catalogs distribués peuvent avoir des incohérences — utiliser des transactions atomiques
- **Z-ORDER vs Partition** : Z-ORDER est complémentaire au partitioning, pas un remplacement
- **Vacuum safety** : Toujours vérifier les commits en cours avant de vacuum — les fichiers peuvent être en cours d'écriture
- **Schema evolution limits** : Certains changements de schéma sont impossibles (rename + type change simultané)
- **Query engine compatibility** : Tous les moteurs ne supportent pas toutes les features — vérifier la compatibilité

## Connexions Knowledge Graph
- **agent-etl-pipeline-v2** : Pipelines ETL pour le data lake
- **agent-data-quality** : Qualité des données dans le lake
- **agent-observability-v2** : Monitoring des pipelines de données
- **agent-data-engineer** : Architecture data engineering globale
- **agent-postgres-specialist** : PostgreSQL et foreign data wrappers