Test Effectiveness

Test Effectiveness

判斷「這套測試是否真的在驗東西」。職責：識別覆蓋不真實的形態、提供證明覆蓋真實的手段。

核心主張

綠燈的資訊量比它看起來少。

測試通過只證明「在被執行的路徑上，斷言成立」。它不證明被測對象被執行過、不證明斷言被執行過、不證明斷言在驗有意義的行為、也不證明失效時會變紅。

劃分軸：綠燈在哪個環節失去資訊量

一次有效的測試要走完四個環節：被測對象被執行、斷言被執行、斷言驗對對象、斷言有區別力。任一環節斷掉，綠燈即不再攜帶程式碼正確的資訊。第五族的斷點不在鏈上，而在「綠燈的來源不是程式碼」。

此軸是本 skill 的分類依據，也是它可被證偽的方式：遇到落不進五族的形態，是軸不完整而非該形態不存在。

覆蓋歸零族：被測對象未被執行

判準：

把被測對象換成恆回傳固定值的空殼，斷言是否仍綠？仍綠即有效覆蓋為零。

此問法不依賴替身存在——測試不使用替身時同樣可操作。替身情境是其特例：移除所有替身後若剩下的斷言只在驗標準函式庫行為，等同被測對象從未參與。

斷言未執行族：斷言根本沒跑到

前一族的斷言完好但沒碰到被測對象；本族的被測對象可能跑了，但斷言本身從未執行。兩者的綠燈都不含資訊，斷點不同。

判準：

刻意讓斷言失敗一次（改斷言的預期值），測試是否變紅？不變紅即屬本族。

本族是實務上最高頻的假綠燈來源，且前一族的判準對它一律誤判——把被測對象換成空殼，斷言仍然沒跑，測試仍然綠，看起來像「有效覆蓋為零」以外的正常狀態。故本族的判準必須先跑。

覆蓋錯位族：斷言驗錯對象

判準：

構造一個輸入，使被測邏輯錯誤而此測試仍綠。構造得出即屬本族。

不用「答不答得出回歸行為」判定——那是能力測驗，兩個人會給相反結論，且經驗多的那位永遠判「不屬本族」。

否定結果雙義族：斷言區別力不足

**「沒輸出」「沒告警」「條件不同」同時符合「正確」與「壞掉」。**只做否定測試無法區分兩者。

修誤報時，反向案例應多於正向：誤報消失容易確認，「真實命中還在不在」才是會被漏掉的一半。若只測前者，連「直接刪掉整個偵測器」都會通過。

環境依附族：綠燈來源非程式碼

前四族的斷點在「測試到被測對象」這條鏈上；本族的鏈是通的，但綠燈反映的是本機狀態恰好符合預期，不是程式碼正確。

檢查手段：把環境錨點指向空目錄或臨時目錄重跑。錨點依形態而異——寫死識別符對應專案根與 repo 名，前提檢查對應該前提所依賴的外部服務或檔案，定時炸彈對應被依賴的那份狀態。全通過才算不依附本機狀態。

驗證手段：變異測試

改一行程式碼，看測試會不會紅。這是目前唯一能把「測試看守了某個分支」從推論變成觀測的手段。

目標行由測試宣稱決定，不由直覺決定。 步驟 1 若停在「選一個看起來更合理的改法」，兩個人會挑不同行、得到相反結論，而沒有仲裁依據。

1. 反推目標行：讀測試名與其斷言，問「它宣稱看守什麼條件」，找出實作中決定該條件的那一行。宣稱與實作對不上時，該測試本身即屬覆蓋錯位族。測試名只描述回傳值而不宣稱條件時，改走反向——先列被測函式的分支，再回頭問哪條測試宣稱看守它
2. 套用變異表：母規則是語意反轉，依目標行的性質選類別
   • 控制流類：break 改 continue、迴圈步進值減一、比較運算子反向、提前退出改為繼續、常數邊界加減一
   • 值替換類：回傳值改為 null 或預設值、布林運算子互換、條件整體真值化
   • 副作用類：刪除一次副作用呼叫、例外路徑改為吞噬
3. 在複本上注入：複製被測模組到臨時目錄再改，不對正式檔案注入。執行者中途失敗時，正式檔案會被留在被注入狀態且靜默失效
4. 跑測試，確認工作區乾淨：以版本控制狀態驗證，不依賴記得還原

變異不紅有兩種解釋：變異無害，或有害但現有案例不區分。要分辨必須自行構造區分案例——找出一個輸入，使正確版與變異版產生不同結果。構造不出來才能判定變異無害。停在「變異不紅」就判定無害，會放行未被看守的承重分支。

回傳值等價但可觀測的變異（如快取命中導致的呼叫次數差異）仍屬有害——區分案例可以是呼叫次數而非回傳值。

驗收補測試類任務時：測試數量是輸入，能抓到變異才是輸出。要求對方證明新測試殺得掉變異，而非只回報測試數增加。

免費的變異：修復前的紅綠分佈

修 bug 時不需另外注入變異——缺陷本身就是變異，修復前的程式碼就是變異版。新測試在修復前的紅綠分佈是這次變異測試的結果，且它自然發生、不需複本、不需還原工作區。

判讀方式是比對「紅綠界線」與「缺陷邊界」：

第三種是唯一能單獨成立的證據——它同時證明測試對缺陷敏感（紅的那些）與對正確行為不誤報（綠的那些）。前兩種都需要補做真正的變異測試才能下結論。

Action：修 bug 時先寫測試再改程式碼，並把修復前的紅綠數字與紅綠界線寫進 ticket 的 Test Results。只寫「修復後全綠」不構成證據——那是所有測試的共同狀態，包含沒測到東西的那些。

邊界：本節只適用於「有明確缺陷可修」的情境。新功能的測試沒有缺陷版可對照，仍須走上方的注入式變異測試。

何時不適用

探索性 spike、smoke test、以及僅為輔助手動驗證而寫的一次性測試，不需套用五族審查。本 skill 針對的是宣稱提供回歸保護的測試。

不涵蓋覆蓋缺口——完全沒有測試碰過的新程式碼不在五族之內。五族處理的是既有測試的覆蓋失真，不是覆蓋的有無。

定位與邊界

正交軸是斷言的區別力對比斷言的穩定性：

不以紅燈或綠燈分流——環境依附族的紅燈與綠燈是同一枚硬幣的兩面，用該軸切不開。同一測試若兩種問題並存（如測試順序污染：單獨跑紅、全套跑綠且綠燈與程式碼無關），兩檔判準皆適用，不做互斥路由。

其他相鄰職責：TDD 階段推進見 tdd skill；非同步資源清理見 dart-test-async-guardian skill；具體替身框架 API 屬語言與框架文件。

相關 error-pattern

版本紀錄在同目錄的 CHANGELOG.md。