低階模型探針的回報通常帶著一個自評欄位(有把握、看不出來、不確定),而那一欄與它答對沒答對是兩件獨立的事。只讀自評欄的批次會得到一個看起來很好的數字,同時放掉那一批唯一的缺陷。

一次量測裡兩個數字的分岔

二十六條路由句子交給三份獨立探針,指令逐字相同,每一份都被要求對每一條寫出「被指向的那一篇會交付什麼」,並自評有把握或看不出來。

三份的自評欄幾乎一致:各二十四條有把握、兩條看不出來,而那兩條落在同一處。摘要看起來是一個乾淨的通過。

逐條拿去目的地比對之後,數字換了一組。受測那十八條裡有一條三份探針全部答錯,其中兩份把方向答反了——那條路由承諾寫的是「這三種寫法為什麼全部落在同一側」,而句子從頭到尾沒說是哪一側。前一句剛好把兩側都列了出來,所以那是一個五五開的猜測,三份探針各自猜了,三份都在自評欄寫有把握。

那一條的自評欄與其餘十七條長得一模一樣。 停在自評欄的話,這一批的結論會是二十四比二通過,而唯一該修的那一條在通過的那二十四條裡面。

為什麼自評欄不承載準確度

探針的自評答的是「這句話有沒有給我東西讓我寫得出預測」,不是「我寫的預測對不對」。後者它答不了——它看不到目的地,這正是這個量測的設計條件。所以自評欄測的是句子有沒有交出材料,而材料齊備跟材料指向正確是兩回事:一個句型完整、資訊看起來充分、但漏掉關鍵區辨項的句子,會讓每一個讀者都有把握地寫出各自不同的錯誤答案。

這也解釋了為什麼「看不出來」那一欄仍然有用,只是用途比較窄:它抓的是完全沒給材料的句子。這次的兩條看不出來都落在對照組,而且都是裸的引用(「對應某某跟某某卡片」)。沒給材料是一種缺陷,給了錯的材料是另一種,前者自評欄抓得到,後者只有比對抓得到。

處置:判定的單位是比對後的結果

回報收進來之後,多一個步驟:每一條預測都要真的拿去目的地比對,比對的結果另立一欄,不與自評欄合併。 兩欄都保留,因為它們回答不同的問題——自評欄告訴你哪些句子沒給材料,比對欄告訴你哪些句子把讀者帶去錯的地方。

這一步無法外包給探針本身。讓探針讀了目的地再自評,它的預測會變成摘要而不是預測,設計條件當場失效。比對由派探針的那一側做,材料是探針的預測句與目的地的實際內容。

順序仍然是歸因先於處置。答錯的那一條先回原文查——句子是不是真的沒說是哪一側(是,所以修句子),還是句子說了而探針讀漏(那要另外歸因)。

這一條的射程

適用於任何帶自評欄的探針批次,而不只是路由承諾這一種用途。理解取樣、重點涵蓋度、術語通用度都會產生自評,而它們共同的性質是:探針有能力判斷自己拿到多少材料,沒有能力判斷自己的結論對不對,因為判斷對不對需要的正是那份被刻意扣住的資料。

不適用於本來就沒有外部答案可比對的用途。閱讀負擔與語氣的取樣裡,探針的回報本身就是資料,沒有一個「正確答案」在別處等著比對。

跟其他原則的關係

  • #281 理解要取樣、不靠判斷:那張卡建立了探針這個方法與它的五個設計條件,本卡限定其中一項的讀法——回報要分欄讀,不能只讀最省事的那一欄。
  • #303 串連佔掉的是本篇的篇幅:那張卡的內容測試明寫著「驗收就是真的拿去比對」,本卡是那一句為什麼不可省略的量測證據。省掉比對這一步,那個判斷標準會退化成只測句子有沒有交出材料。
  • #289 術語探針量的是語域不是自創:同一種分欄紀律的另一個形態——術語探針的「收斂」與「答得對」也是兩個量,那張卡用控制詞承接這件事。
  • #267 關鍵字清單需要違規義項佔多數:兩張卡都在講一個便宜的訊號會蓋住它抓不到的那一類,差別在那張是 grep 的命中、這張是探針的自評。
  • #307 收斂度分不出無主的詞與已經有主人的詞:同族而錯的一方相反。本卡是探針有把握而答錯,比對外部答案才現形;那張卡是探針有把握而答對,錯的是作者,證據落在有把握那幾份寫的定義內容裡。兩張卡共用同一條紀律——自評欄與比對欄分開,而比對無法外包給探針自己。
  • #311 reviewer 給的數字要用被審對象宣告的口徑重跑一次:同一組分欄紀律換一個對象。本卡分開探針的自評與它的準確度,那張卡分開一份報告的說服力與它某一條量測的正確性——兩者都是讀的人手上只有前一個量。

判讀徵兆

  • 探針回報的摘要行寫著一個高通過率,而報告裡沒有任何一條記錄「我拿這條預測去比對過目的地」。
  • 同一條的三份預測彼此矛盾,而三份的自評都是有把握——矛盾本身就是那一條材料不足的證據,自評欄看不到它。
  • 承諾句裡出現「同一側」「其中之一」「那幾種」這類指向一個集合而不指名成員的說法,前文又剛好把整個集合列出來過。