收斂度要等預定份數全部到齊才讀,N-1 份看起來一定比實際收斂
論述基礎與限制
本卡抽自一次審查裡的兩次判斷失誤,同一個 session、同一批探針、間隔不到十分鐘。單一批次;機制是統計上的必然(少一個樣本的變異數下界較小),但「實務上多常發生」沒有量測。
核心原則
收斂度只在第 N 份到齊之後可讀。 派了 N 份就要等 N 份,中途只記錄不推論。理由是決定收斂度的往往正是最後一份——前面那些若不收斂,早就不會有人想下結論;會讓人想下結論的正是「目前為止都一致」,而那個狀態在最後一份到齊之前一直成立。
這一條擋的不是「一份就下判斷」。 那一條已經有規則(單份不自證),而它擋不住 2/3——兩份一致讀起來已經像證據,尤其當它們是控制組的時候。
實例:同一批探針上錯兩次
一次三份的類型探針,兩份控制文件加一份受測件。
第一次:前兩份的教材控制是 75/25 與 70/30,我據此宣稱「控制組收斂,所以這一批的分歧可歸因到受測件」。第三份是 60/40——控制組自己散了 15 點,而那正是這個 frame 的前提條件。
第二次:同一批有一題三份都答「是」,我拿它當受測件偏向操作手冊的證據。第三份對已知的好教材也答了「是」——那一題在這一批不具鑑別力,而我在只有兩份的時候看不出來,因為前兩份對教材控制答的是「不完全」。
兩次的形態相同:手上的 N-1 份給了一個乾淨的結論,而最後一份把它推翻。 第二次尤其值得記——它推翻的是那個量測工具在這一批上能不能用,而不只是一個數值。
為什麼中途特別想下結論
報告是陸續回來的,而每一份到齊都是一個自然的停頓點。前面若已經一致,第 N-1 份帶來的是「又一次確認」的感覺,而不是「還差一份」的提醒。等待的成本是可見的(多花幾分鐘),錯誤的成本不可見(結論看起來成立)。
修法
中途只記錄不推論。 每一份回來就寫進表,不寫任何以收斂度為前提的句子。
回報時寫全距不寫平均。 「三份 60-75」看得出這一批穩不穩,「大致一致」或平均值看不出來。控制組的全距尤其要寫——它決定整批採不採用。
控制組散開就整批作廢,而散開的那一份可能是最後一份。 所以「控制組收斂」這個判定也要等 N 份,不能在中途宣告。
反模式
把「目前為止都一致」寫進報告當成中間結論。 它會被後續的動作當成前提,而推翻它的成本高於當初等那幾分鐘。
跟其他原則的關係
- 理解要取樣、不要靠判斷 — 那一張定「一份讀錯就是判決、收斂度只決定證據強度」,本卡補它缺的那個維度:什麼時候可以開始讀收斂度。兩者的處置方向相反而不衝突——一份讀錯就要修,而讀「有多容易讀錯」要等齊。
- 真值住在稿件之外的宣稱,讀多少遍都驗不出來 — 同一批審查裡的另一個失誤,形態相反:那一張是動作不對(用讀的驗執行),本卡是時機不對(樣本沒到齊就讀)。
- 稽核者自己的答案也是待測物 — 同一族的自我校正:那一張說稽核者的答案要進待測物,本卡說稽核者的中間結論要等證據到齊。
判讀徵兆
- 報告裡出現「目前兩份都⋯」「前幾份一致」這種帶份數的中間結論。
- 派了 N 份而在第 N-1 份之後就開始動手修。
- 回報寫「控制組收斂」而沒有列出控制組各份的實際數值。
- 事後回頭看,某個結論的關鍵證據來自最先回來的那幾份。