論述基礎與限制

本卡從一次三輪審查的 finding 分佈抽出,由併行的另一個工作階段提供:約一百五十則 finding,方向完全一致。單一批次、單一審查對象(一份判斷標準集合);「換一種被審對象是否同樣偏斜」沒有量測,而下面那個成因分析是推導。

核心原則

審查的 frame 集合會朝同一個方向長:問規則的效力,不問規則的代價。 效力那一側問「判斷標準漏了什麼、這一類還有哪些位置、涵蓋範圍夠不夠」;代價那一側問「判斷標準會把哪些合規的個案判成違規、規則的成本由誰承擔、值不值得」。

成因可以指認,而且兩端同向。 找到一處漏抓是產出——多一則 finding;找到一處誤報是否定產出——少一則 finding,而且要撤回別人已經寫下的東西。規劃 frame 的人在找「還有什麼沒被檢查」,執行 frame 的人的價值由 finding 數量體現,兩端的誘因都指向效力那一側。

零 finding 與零 frame 在報告上同形。 這是它躲過檢討的方式:代價那一側交白卷,讀起來像「那一側沒有問題」,而那一側從來沒有人問過。判斷標準若真的不誤傷,誤報那一側該有 frame 跑過並回報零;直接缺席與回報零,在結案報告上是同一片空白。

偵測:看 finding 的方向分佈

沿用「finding 的分佈本身是訊號」這個作法,而軸換掉。斷言支撐那一張看的是層級(finding 全部落在表面層代表深層無人在看),本卡看的是方向(finding 全部在問漏了什麼,代表反向無人在問)。

操作是結案前把所有 finding 逐則標一個方向欄,只有兩個值:這一則說規則漏掉了什麼,還是說規則多抓了什麼。一欄全滿、另一欄全空時,缺的是 frame 而不是缺陷。

修法:frame 清單成對排

每一個效力側的 frame 旁邊放一個代價側的問句:

效力側代價側
判斷標準漏了哪些情境判斷標準會把哪些合規的個案判成違規
這一類還有哪些位置這一類的命中有哪幾處其實合規
規則的涵蓋範圍夠不夠規則的成本由誰承擔、在什麼規模下不划算

「找誤報會減少產出」這個成本估計本身是錯的。 同一批審查裡有兩次撤回,兩次撤回之後的替代 finding 都比原本那一則強——一次把「有人可能誤用這個設定」換成「本庫唯一的該類項目已經誤用了」。撤回減少的是錯的 finding,換來的是更準的那一則。

所以這個偏斜是一個沒被算過的假設,而不是一個算過之後的成本選擇。 這一點劃出它與代理比本體便宜的邊界:那一張的差價是真的(打開一個檔確實要花時間),所以在那個結構下拿代理是理性的;本卡的「代價側產出少」則沒有經過量測,而一量就翻轉。套用「這是理性的成本選擇」之前,要先驗那個成本差是不是真的存在——不驗就把一個未經檢驗的假設寫成了經濟學。

跟其他原則的關係

  • 審查要有斷言支撐 frame — 同一個偵測法用在另一個維度。那一張看 finding 的層級分佈,本卡看方向分佈;兩者共用同一句推論:一整片空白代表那個維度沒有人負責,而空白與通過在報告上長得一樣。
  • 同一個 session 派出的 reviewer 共用它的盲區 — 鄰居而軸不同。那一張講來源(增加數量提高覆蓋的面而不是視角的來源數),本卡講提問方向(來源就算換了,只要每個 frame 都在問同一個方向,換來的仍是同一側的 finding)。加人與換人都補不上一個沒有人提的問題。
  • 要求揭露只擋得住省略,要分層得改成要求分類 — 本卡的方向欄是那一張的分類義務用在 finding 上:要求「回報 finding」得到的是一堆同向的 finding,要求「每則標方向」才看得出一整欄是空的。

判讀徵兆

  • 結案報告的 finding 全部可以改寫成「這裡漏了 X」。
  • frame 清單裡沒有任何一個的產出會是「刪掉一條規則」或「放寬一個判斷標準」。
  • 有人問「這條規則會不會太嚴」時,答案來自設計者的印象而不是一輪跑過的 frame。
  • 代價那一側交白卷,而結案敘述把它讀成沒有問題。