EDA (Exploratory Data Analysis)
概要
データの構造、パターン、異常値、変数間の関係を把握するための探索的データ分析を行う。
手順
- データ読み込み: データ型、欠損値の確認 (
df.info(),df.describe()). - 単変量解析: ヒストグラム、箱ひげ図などで各変数の分布を確認。
- 多変量解析: 散布図、相関行列などで変数間の関係を確認。
- 異常値検出: ドメイン知識や統計的手法を用いて異常値を特定。
- レポート作成: 発見事項をMarkdownセルや別途レポートにまとめる。
使用ツール・ライブラリ
- pandas, numpy
- matplotlib
成果物の保存場所
- EDA実行用ノートブック:
project/src/01_eda.ipynb - 探索的データ解析結果の報告書:
project/reports/eda.md