root-5 Data Cleansing
概要
分析やモデリングに適した形式にデータを整形・クリーニングする。
手順
- 欠損値処理: 削除、平均値/中央値補完、予測モデルによる補完など。
- 異常値処理: クリッピング、除去、変換。
- データ型変換: カテゴリ変数の適切な型変換、日付型のパース。
- 重複排除: 重複レコードの確認と削除。
- 一貫性チェック: 表記ゆれの統一、論理的矛盾の解消。
使用ツール・ライブラリ
- pandas, numpy
成果物の保存場所
- データクレンジング、欠損値補完用ノートブック:
project/src/02_data_cleaning.ipynb - 再利用可能なクリーニング処理コード:
project/src/modules/data_cleaning.py - 前処理後のデータセット:
project/data/[元データ名]-cleaned.csv