審查的 frame 全部在問規則的效力,沒有一個問它的代價
論述基礎與限制
本卡從一次三輪審查的 finding 分佈抽出,由併行的另一個工作階段提供:約一百五十則 finding,方向完全一致。單一批次、單一審查對象(一份判斷標準集合);「換一種被審對象是否同樣偏斜」沒有量測,而下面那個成因分析是推導。
核心原則
審查的 frame 集合會朝同一個方向長:問規則的效力,不問規則的代價。 效力那一側問「判斷標準漏了什麼、這一類還有哪些位置、涵蓋範圍夠不夠」;代價那一側問「判斷標準會把哪些合規的個案判成違規、規則的成本由誰承擔、值不值得」。
成因可以指認,而且兩端同向。 找到一處漏抓是產出——多一則 finding;找到一處誤報是否定產出——少一則 finding,而且要撤回別人已經寫下的東西。規劃 frame 的人在找「還有什麼沒被檢查」,執行 frame 的人的價值由 finding 數量體現,兩端的誘因都指向效力那一側。
零 finding 與零 frame 在報告上同形。 這是它躲過檢討的方式:代價那一側交白卷,讀起來像「那一側沒有問題」,而那一側從來沒有人問過。判斷標準若真的不誤傷,誤報那一側該有 frame 跑過並回報零;直接缺席與回報零,在結案報告上是同一片空白。
偵測:看 finding 的方向分佈
沿用「finding 的分佈本身是訊號」這個作法,而軸換掉。斷言支撐那一張看的是層級(finding 全部落在表面層代表深層無人在看),本卡看的是方向(finding 全部在問漏了什麼,代表反向無人在問)。
操作是結案前把所有 finding 逐則標一個方向欄,只有兩個值:這一則說規則漏掉了什麼,還是說規則多抓了什麼。一欄全滿、另一欄全空時,缺的是 frame 而不是缺陷。
修法:frame 清單成對排
每一個效力側的 frame 旁邊放一個代價側的問句:
| 效力側 | 代價側 |
|---|---|
| 判斷標準漏了哪些情境 | 判斷標準會把哪些合規的個案判成違規 |
| 這一類還有哪些位置 | 這一類的命中有哪幾處其實合規 |
| 規則的涵蓋範圍夠不夠 | 規則的成本由誰承擔、在什麼規模下不划算 |
「找誤報會減少產出」這個成本估計本身是錯的。 同一批審查裡有兩次撤回,兩次撤回之後的替代 finding 都比原本那一則強——一次把「有人可能誤用這個設定」換成「本庫唯一的該類項目已經誤用了」。撤回減少的是錯的 finding,換來的是更準的那一則。
所以這個偏斜是一個沒被算過的假設,而不是一個算過之後的成本選擇。 這一點劃出它與代理比本體便宜的邊界:那一張的差價是真的(打開一個檔確實要花時間),所以在那個結構下拿代理是理性的;本卡的「代價側產出少」則沒有經過量測,而一量就翻轉。套用「這是理性的成本選擇」之前,要先驗那個成本差是不是真的存在——不驗就把一個未經檢驗的假設寫成了經濟學。
跟其他原則的關係
- 審查要有斷言支撐 frame — 同一個偵測法用在另一個維度。那一張看 finding 的層級分佈,本卡看方向分佈;兩者共用同一句推論:一整片空白代表那個維度沒有人負責,而空白與通過在報告上長得一樣。
- 同一個 session 派出的 reviewer 共用它的盲區 — 鄰居而軸不同。那一張講來源(增加數量提高覆蓋的面而不是視角的來源數),本卡講提問方向(來源就算換了,只要每個 frame 都在問同一個方向,換來的仍是同一側的 finding)。加人與換人都補不上一個沒有人提的問題。
- 要求揭露只擋得住省略,要分層得改成要求分類 — 本卡的方向欄是那一張的分類義務用在 finding 上:要求「回報 finding」得到的是一堆同向的 finding,要求「每則標方向」才看得出一整欄是空的。
判讀徵兆
- 結案報告的 finding 全部可以改寫成「這裡漏了 X」。
- frame 清單裡沒有任何一個的產出會是「刪掉一條規則」或「放寬一個判斷標準」。
- 有人問「這條規則會不會太嚴」時,答案來自設計者的印象而不是一輪跑過的 frame。
- 代價那一側交白卷,而結案敘述把它讀成沒有問題。