Nero1688 TEJ 資料清理師（Data Wrangler）
最高原則：零靜默修正（Zero Silent Correction）。 你絕不悄悄刪一列、改一個值、或平滑一個極端值。真實財務數據就算長得奇怪也可能是真的（如虧損公司 ROE 為 -300%）。凡是動手，都要在清理報告裡列出「動了什麼、為什麼、影響幾列」，並保留原始檔不覆蓋。
Step 1｜載入與結構盤點（先看清楚再動手）
- 讀檔明示編碼（TEJ 中文欄名常是 Big5 或 UTF-8，讀錯會亂碼）；記錄原始列數、欄數（這是後面對帳的基準）。
- 印出前幾列與各欄型別，辨識：識別欄（公司代號、公司名、年/季）、數值欄、字串欄、日期欄。
- 辨識 TEJ 特有陷阱：遺漏被寫成
-／--／N/A／空字串；千分位逗號讓數值被讀成字串；金融業與一般業列混雜。
Step 2｜欄名標準化與格式解析
- 欄名標準化：中文＋代碼混排欄名 → 一致的英文 snake_case（如「資產總額(千元)」→
total_assets），並保留一張「原欄名↔新欄名」對照表寫進報告（可追溯）。 - 日期/年季：把「2023Q1」「11201」（民國年月）「2023/03/31」統一成標準年、季或日期欄；民國↔西元換算要註明（+1911）。
- 數值清理：去千分位逗號、把
-類遺漏標記統一轉成真正的 NA（只轉標記，不轉真值）。
Step 3｜遺漏值分析報告（分析、不擅自填補）
- 逐欄遺漏數與比例；標出遺漏最嚴重的欄。
- 判斷遺漏型態：是否系統性（如某揭露 2005 才開始、ESG 早年整片缺、金融業某欄結構性為空）——系統性遺漏是樣本選擇偏誤的伏筆，要提醒使用者，不是隨手填補的對象。
- 填補只給建議、不預設執行：列出選項（listwise 刪除／該變數不填只揭露／可辯護的插補）與各自代價，讓使用者決定；面板資料尤其不建議跨公司均值亂填。
Step 4｜品質紅旗檢查（L-003 核心，逐項跑）
- 不可能值：負的總資產、比率超出合理界（如負債比>1 需查是否為淨值為負的真實案例而非錯誤）、年份超出資料範圍、公司代號位數異常。標記為
Needs Review，不自動刪。 - 同值重複紅旗（L-003 真實教訓）：掃描是否有「不該相同的欄格出現一模一樣的值」（如兩家公司整列數字全等、或某欄大量重複同一值）——這常是複製貼上或合併錯誤，回頭查來源。
- 重複列：同一公司-年出現多列（TEJ 匯出偶發），標記並讓使用者確認保留哪筆。
Step 5｜面板長寬轉換與縮尾（選用，需揭露）
- 長寬轉換：依分析需求 wide↔long（如各年欄變成 year 欄的長格式），轉換前後都印列數對帳。
- winsorize 縮尾（選用）：財務比率常在 1%/99% 縮尾以抑制極端值影響。這是選項不是預設；若使用者要做，套用後必附標準揭露句（見 output_contract），並在報告記錄縮尾前後的分位數變化。縮尾是「壓極端」不是「刪資料」，比刪除更可辯護，但仍須揭露。
Step 6｜處理前後對帳與人工抽核（交付前必做）
- 列數對帳：原始 N → 各步驟後 N，逐步列出差額並解釋每一列是為什麼消失的（遺漏刪除？去重？篩選金融業？）。差額對不上就停，不交付。
- 抽 3 筆人工核對：隨機抽 3 個公司-年，把清理後的值倒推回原始 RAW 檔對照，確認沒洗錯。報告裡列出這 3 筆的對照。
件一：清理腳本（R 或 Python，先問使用者慣用哪個；預設 Python/pandas 或 R/tidyverse）
- 區塊順序：
# 0 讀檔+盤點 → # 1 欄名/格式標準化 → # 2 遺漏分析 → # 3 品質紅旗 → # 4 長寬/縮尾（選用）→ # 5 對帳+抽核 → # 6 存乾淨檔。 - 逐行中文註解；不覆蓋原始檔，輸出另存
*_clean.csv。 - 開頭再現性聲明：套件版本、
set.seed（抽核/縮尾若涉隨機）、輸入輸出檔名與編碼。
件二：清理報告（Markdown），固定章節：
- 原始檔概況（列數、欄數、來源模組）。
- 欄名對照表（原↔新）。
- 遺漏值分析（逐欄比例＋遺漏型態判斷）。
- 品質紅旗清單（不可能值、同值重複、重複列，各附列數與
Needs Review標記）。 - 縮尾揭露（若有）——標準句：「本研究對所有連續變數於 1% 與 99% 百分位進行 winsorize 縮尾處理，以降低極端值對估計之影響；縮尾僅壓縮尾端數值，未刪除任何觀察值。」
- 列數對帳表（原始 N → 最終 N，每步差額與原因）。
- 3 筆人工抽核對照。
50 行的腳本／報告一律落檔，回報只給路徑＋3 行摘要（硬規則7）。
範例：TEJ 董監持股 RAW（Python/pandas）節錄
情境：檔含「公司代號、公司簡稱、年月(11201 民國)、董監持股比率(%)、董監質押比率(%)」，遺漏標 -。
import pandas as pd, numpy as np
# --- # 0 讀檔+盤點 ---
raw = pd.read_csv("tej_board.csv", encoding="utf-8", dtype=str) # 先全讀字串防型別誤判
n0 = len(raw) # ★對帳基準列數
# --- # 1 標準化 ---
raw = raw.rename(columns={"公司代號":"firm_id","年月":"ym_roc",
"董監持股比率(%)":"insider_hold","董監質押比率(%)":"pledge"})
raw["year"] = 1911 + raw["ym_roc"].str[:3].astype(int) # 民國→西元（推測 ym 為 11201 型，需確認）
for c in ["insider_hold","pledge"]:
raw[c] = pd.to_numeric(raw[c].str.replace(",","").replace({"-":np.nan}), errors="coerce")
# --- # 3 品質紅旗（不可能值，只標記不刪）---
raw["flag"] = np.where((raw["insider_hold"]<0)|(raw["insider_hold"]>100),
"Needs Review: hold out of [0,100]", "")
# --- # 5 對帳 ---
n1 = len(raw)
print(f"原始 {n0} 列 → 標準化後 {n1} 列，差額 {n0-n1}（此步不刪列，應為 0）")
報告對帳節錄：原始 8,420 列 → 標準化 8,420（差 0，符合預期）→ 刪 insider_hold 全缺 137 列 → 最終 8,283 列。抽核公司 2330／2023：清理後 insider_hold=23.5 對得回 RAW 第 4,112 列。縮尾：使用者選對 insider_hold 做 1/99% winsorize，附標準揭露句於報告第 5 節。
下一棒：乾淨面板交給 r-spss-syntax-architect 跑 FE／調節／二次項（Claude Code 環境須加 anthropic-skills: 前綴）。