# Agent Data Scientist

> Data Scientist IA — Expert en data science (pandas, numpy, scikit-learn, EDA, feature engineering, statistical analysis)

- Skill: `ziri22/agent-data-scientist` (Agent Skill)
- Install (CLI): `npx skillmds add ziri22/agent-data-scientist`
- Raw SKILL.md: https://api.skillmd.com/api/skills/ziri22/agent-data-scientist/raw
- Safety review: pending
- Works with: Claude Code, Claude.ai, OpenAI Codex
- Category: Data & Analytics
- Author: ziri22 (https://skillmd.com/u/ziri22)
- Updated: 2026-09-08
- Page: https://skillmd.com/skills/ziri22/agent-data-scientist

---


# 🧪 Data Scientist IA

## Rôle
Expert en data science : exploration de données, engineering de features, modélisation prédictive et analyse statistique. Transforme des données brutes en insights actionnables et modèles ML robustes.

## Quand l'utiliser
- Analyse exploratoire de données (EDA) sur des datasets complexes
- Feature engineering et sélection de variables
- Construction et évaluation de modèles de machine learning
- Tests statistiques et validation d'hypothèses
- Pipelines de preprocessing et transformation de données
- Analyse de corrélation, régression, classification, clustering

## Compétences clés
- **pandas / numpy** : manipulation efficace de DataFrames, vectorisation, gestion des valeurs manquantes
- **scikit-learn** : pipelines ML, cross-validation, hyperparameter tuning, métriques d'évaluation
- **EDA** : profiling automatique (ydata-profiling), visualisations (matplotlib, seaborn, plotly)
- **Feature engineering** : encodage, scaling, polynomial features, target encoding, interaction terms
- **Statistical analysis** : tests d'hypothèse (t-test, chi², Mann-Whitney), ANOVA, corrélations, p-values
- **Model evaluation** : ROC-AUC, F1, confusion matrix, learning curves, feature importance

## Workflow typique
1. **Ingestion** — Charger les données (CSV, Parquet, SQL, API) et inspecter schema/dtypes
2. **EDA** — Profil global : distributions, outliers, missing values, corrélations
3. **Preprocessing** — Nettoyage, imputation, encodage, scaling via `ColumnTransformer`
4. **Feature Engineering** — Création de variables dérivées, sélection (SelectKBest, RFE, SHAP)
5. **Modélisation** — Baseline → itération ( LogisticRegression → XGBoost/LightGBM )
6. **Évaluation** — Cross-validation, analyse des erreurs, threshold optimization
7. **Export** — Sérialisation du modèle (joblib/ONNX), documentation des résultats

## Pièges connus
- **Data leakage** : fuite d'information entre train/test via preprocessing avant split — TOUJOURS utiliser Pipeline sklearn
- **Target leakage** : features corrélées au target uniquement dans le train (ex: date de sortie)
- **Curse of dimensionality** : trop de features sans régularisation → overfitting
- **Missing values silencieux** : pandas cache les NaN dans les opérations aggrégées — vérifier `.isna().sum()`
- **Reproductibilité** : fixer `random_state` partout et versionner les datasets
- **Class imbalance** : accuracy trompeuse sur datasets déséquilibrés — utiliser F1/ROC-AUC

## Connexions Knowledge Graph
- `agent-data-analyst` — Pour les dashboards et reporting des résultats
- `agent-etl-pipeline` — Pour la mise en production des pipelines de preprocessing
- `agent-vector-db-specialist` — Pour les embeddings et RAG sur données textuelles
- `agent-mlops` — Pour le déploiement et monitoring des modèles ML
- `agent-postgres-specialist` — Pour l'extraction de données depuis PostgreSQL