論述基礎與限制

本卡從一次五輪的多輪審查抽出。二十一個 frame、二十份探針,reviewer 回報的量測裡有三條在複驗時不成立,而三條都住在其餘 finding 全部正確的報告裡:

  • 一張卡的詞頻表被判為「量測當下與現在兩端都對不上」。卡自己寫著口徑是單一檔案,reviewer 量的是那個檔案加上另一份規範檔的合計;照卡上的口徑重跑,兩端都完全複現。
  • 一個模組的 Backlog 段被判為欄位數不合規。那一段是空的(只有一句「目前沒有待辦項」),reviewer 讀到的是它下面另一個小節的表。
  • 一份 skill 副本被判為「該砍成三分之一」,依據是規範裡管另一種檔案粒度的一條規則。全庫同類副本的長度比實測落在六到八成。

限制是一則個案,而且 reviewer 全部是同一個模型家族、由同一個 session 派出。換一批 reviewer 或換一種審查對象是否有同樣的比例沒有測過。推翻方式:拿一批審查報告逐條複驗,若不成立的那些與「口徑」無關而集中在別的成因,本卡的歸因不成立。


核心原則

一份審查報告的可信度是整份的,而錯誤是逐條的。 讀報告的人拿到的是一組 finding 加一組數字,而報告不會標示哪幾條是逐字複驗過的、哪幾條是順著讀下來的。其餘二十條都對,這一條就跟著被採信。

量測與被審對象之間有一個介面,而那個介面通常只寫在被審對象裡。 一個數字要成立,量的範圍得與被審對象宣告的範圍相同——哪幾個檔、哪一段、哪個時點。這些條件住在被審對象自己身上(卡上的口徑句、規則的適用範圍、段落的邊界),而 reviewer 是從外面量的。兩邊都沒有錯,只是量的不是同一個東西,而報告上這與「量到了問題」長得一樣。

這比壞掉的指令難查,因為指令沒有壞。 一條把所有輸入塌成一組的分組指令會回報一個可疑的數字;口徑不同的量測回報的是一個真實存在的數字,只是它答的是另一個問題。前者能用探測輸入抓出來,後者只能回被審對象讀它宣告了什麼。


反模式:把報告裡的數字直接寫進產物

報告說某個數字兩端都對不上,於是在卡上補一句「這個值已經漂了」。補完之後那句話成為新的事實,而原始的量測不會再被回頭跑——一條沒有複驗的更正,比沒有更正更難發現,因為它讀起來就是有人查過了。

同一形態的另一種:報告建議刪掉某一段,依據是一條規則。照做之後那一段不在了,而「那條規則管不管這種檔案」這個問題再也不會被問。


修法

要驅動改動的每一條量測,回被審對象找它宣告的口徑,用那個口徑重跑一次。 成本通常是一條指令。不要求全部複驗——只驗會導致修改的那幾條,其餘的當成待查。

複驗的第一步是找口徑,不是重跑指令。 用 reviewer 的指令再跑一次只會得到同一個數字。要看的是被審對象有沒有寫「這裡算的是哪幾個檔」「這一段到哪裡結束」,然後照它寫的重新界定範圍。找不到宣告的口徑是另一種 finding——那代表被審對象自己沒說,該補的是它。

駁回的時候把理由寫下來,寫在改動的紀錄裡。 「這一條複驗不成立」與「這一條沒看到」在產物裡也長得一樣。寫下來之後,下一個人不會再花一次成本重查同一條。

這是歸因先於處置套在 reviewer 身上。 探針的回報要先在原文找對應的字串才算數,reviewer 的量測要先在被審對象找口徑才算數——同一條紀律,只是對象從模型換成了審查者。


判讀徵兆

徵兆為什麼是訊號下一個動作
報告的某一條會直接導致刪除、改寫或補一句更正那一條的成本已經落地,錯了要再花一次成本才發現複驗它,並在改動紀錄裡寫複驗結果
量測跨越了不只一個檔案,而被審對象只提到其中一個口徑不同的典型形態回被審對象找它寫的範圍,照那個重跑
報告引一條規則判某段違規,而那條規則管的是另一種檔案規則的適用範圍住在規則裡,不在報告裡打開那條規則讀它的適用範圍
某一條的措辭比同報告其他條肯定(「兩端都對不上」)強斷言與強證據不必然同時出現,而讀者會把兩者接起來挑最肯定的那幾條先複驗
報告整體品質高可信度是整份的、錯誤是逐條的,高品質讓抽查的動機下降品質越高越要抽驗會驅動改動的那幾條

跟其他抽象層原則的關係

與 #291 掃描指令壞掉時不會報錯,它報一個數字 是同一個失效面的兩側。 那張卡處理自己的指令壞掉,判斷標準是餵已知不同的輸入進去看回報幾組;本卡處理指令沒壞而口徑不同,探測輸入對它無效——同一條指令在兩種口徑下都會正常運作,差別在它算的是哪一堆檔案。分辨兩者的問句不同:那裡問「這條指令量到的是不是我以為的東西」,這裡問「我以為的東西是不是被審對象宣告的那個」。

是 #281 理解用取樣不用判斷 的歸因紀律換一個對象。 那張卡要求探針的回報先在原文找到對應的字串才進處置;本卡要求 reviewer 的量測先在被審對象找到口徑才進處置。兩者要防的是同一件事——把一個外部來源的輸出當成已驗證的事實。

與 #304 探針回報的信心與它的準確度是兩個量 同族。 那裡分開「探針覺得自己答得出來」與「它答對了」,這裡分開「報告論證得好」與「那個數字成立」。共同點是一份輸出的說服力與它的正確性是兩個獨立的量,而讀的人手上只有前者。

受 #296 同一個 session 派出的 reviewer 共用它的盲區 的前提約束。 派再多 reviewer 也不會讓量測自動可信,因為它們共用同一份 prompt 與同一個框架;複驗這一步無法靠增加 reviewer 完成,只能由讀報告的人回被審對象做。