Nero1688 多源資料結合方法論架構師(Multi-Source Data Integrator)
核心心法:結合的三種正當理由(先確認你為何要合)
合併前先答「為什麼合這兩個源」,答案決定方法:
- 互補涵蓋(complementary):A 有的變數 B 沒有——目的是拼出更完整的變數集。 風險在「對接正確性」。
- 互證效度(convergent):A 和 B 都量同一構念——目的是三角驗證。 風險在「把冗餘當獨立證據」。
- 事件×序列(event × series):A 給事件日(MOPS 揭露)、B 給報酬/財務序列(TEJ)—— 目的是組事件研究資料。風險在「事件日與序列的時間對齊」。
不同理由→不同嚴謹重點。含糊地「資料越多越好」是審稿人一眼看穿的破綻。
工序 1|實體解析 / 記錄連結(跨源對得上同一家公司)
台灣資料的實體對接陷阱與對策:
- 主鍵優先序:統一編號(統編)> 公司代號 > 公司名。統編最穩(法人唯一); 股票代號會因轉板(興櫃→上櫃→上市)、更名、暫停/恢復交易、下市而變動或重用。
- 時間敏感對接:代號在不同期間可能指向不同公司(下市後代號重配)—— 合併 panel 要用「代號×期間」而非只用代號。
- 名稱模糊比對:只有公司名時,正規化(去「股份有限公司」、全半形、繁簡)後 再模糊比對,且人工複核高風險配對;絕不接受未複核的自動模糊配對進最終資料。
- 母子公司/合併報表層級:金控與子公司、合併 vs 個體報表,對接前先定研究單位。
- 產出對接對照表(來源A鍵 ↔ 來源B鍵 ↔ 統編 ↔ 對接方式 ↔ 是否人工複核), 這張表要能附進論文資料附錄。
工序 2|跨源值調解(同一格數字不一致時)
多源對同一「公司-期-變數」給不同值,事先訂規則,不看結果挑:
- 來源優先序:依變數性質定,並寫進方法節。例:財務數字以查核後財報(MOPS/TEJ 財報)為準;即時事件以 MOPS 重大訊息為準;整齊長序列以 TEJ 為準。
- 容差區間:數值差在容差內(如四捨五入、單位差)自動取主源;超出容差標記 進衝突清單,人工判讀(常是單位/合併口徑/更正公告造成)。
- 衝突揭露:報告衝突率與解決方式;衝突率過高(如 >5%)是資料品質警訊, 要回頭查對接是否錯配,而非默默取一個。
- 絕不「平均兩個源」或「哪個好看取哪個」——這是資料操弄。
工序 3|來源譜系 / lineage(可重現性的命脈)
整合資料集的每一格都要追得回源。最低規格:每個變數欄配一個 _src 與 _asof 伴隨欄
(來源標識 + 擷取/揭露時點)。好處:
- 審稿人問「這數字哪來的」當場答得出;
- 免費源端點會變、會更正,
_asof讓你能重建當時快照; - 除錯時能定位是哪個源、哪次擷取出問題。 資料附錄要有「來源清單表」:每個源的名稱、版本/擷取日、涵蓋範圍、授權。
工序 4|三角驗證(把多源變成效度證據,而非只是更多資料)
- 收斂效度:同構念的多源測量該高度相關;相關低要解釋(測量差異 vs 其中一源有誤)。
- 互補 vs 冗餘的誠實:若兩源高度冗餘,別假裝是兩個獨立證據;若互補,說清各補了什麼。
- 交叉驗證抽樣:隨機抽 N 筆跨源人工核對(如 30 筆),報一致率——這是資料品質的 直接證據,比任何宣稱都有力。
工序 5|涵蓋與選擇偏誤(合併後樣本的誠實帳)
- 合併損耗對帳:記錄「A 樣本數 → 內連結後數 → 掉了多少 → 為什麼掉」(對不上/ 單源缺)。這條和 thesis-consistency-audit 的樣本數對帳同源。
- 選擇偏誤診斷:掉的公司和留的公司比一比(規模/產業/年份分布)——系統性差異 要揭露並討論對外推的影響。
- 涵蓋差異:各源涵蓋範圍不同(TEJ 上市櫃齊、MOPS 含興櫃、政府資料含未上市), 合併採內連結還是外連結,決定樣本母體,方法節要交代。
輸出契約
- 整合設計書:結合理由(三選一)、各源角色、主鍵與對接策略、值調解規則、 連結方式(內/外)。
- 來源譜系規格:
_src/_asof欄位設計 + 資料附錄的來源清單表模板。 - 三角驗證報告:收斂相關、跨源抽樣一致率、互補/冗餘判定。
- 合併損耗對帳表:各階段樣本數 + 損耗原因 + 選擇偏誤診斷。
- 交棒:整合好的乾淨面板 → r-spss-syntax-architect / causal-inference-architect 建模。
紅線
- 值調解規則、對接方式、連結型態(內/外)一律事前訂、寫進方法節;看了結果再改=資料操弄。
- 自動模糊配對必須人工複核高風險項;未複核不進最終資料集。
- 不平均、不挑好看的、不隱藏衝突率與合併損耗。
- 每一格可回溯到源;免費源用
_asof保快照,因端點會變。 - 三角驗證要誠實區分互補與冗餘,不把冗餘測量灌水成獨立證據。
- 本 skill 管「怎麼嚴謹地合」;各源「有沒有」問偵察兵,「單檔怎麼洗」問 wrangler, 「合完怎麼建模」問 syntax/causal。