論述基礎與限制

本卡的證據全部來自一個併行專案,本站沒有自己的實例。 對方跑一組題目量它的條文寫得夠不夠明確,其中一輪五題有四題在遮蔽之後仍推得出正解——而同一輪的計分是五題全對。遮蔽的 span 事先標定為三個互斥的登載項、寫進獨立檔案、由第二個人分區複核。

限制有三項。單一專案、單一題庫,四分之五這個比例是那一輪的分佈。「遮起來仍推得出正解」與「這道題完全沒有價值」不是同一件事——它只說這道題對那一款零鑑別力,那道題仍可能在驗別的東西。本站尚未套用,所以下面那句「我們全部的 frame 都只驗充分性」是對照既有 frame 清單推出的,不是量出來的。


核心原則

通過率驗的是充分性,而必要性要另外驗。 一道題答對,證明的是「有這一款的時候答得出來」;它不證明「沒有這一款就答不出來」。兩者的差就是這一款在這道題上的鑑別力,而通過率對它完全沉默。

做法是把受測的那一款遮起來,再看正解推不推得出來。 推得出來,這道題對那一款零鑑別力——它一直在量別的東西(題幹自帶的線索、讀者的前置知識、或另一款的內容),而那一款可以整段刪掉而分數不變。


為什麼滿分的報告上看不出來

計分只分答對與答錯,而「答對且用得到那一款」與「答對但不需要那一款」的分數相同。 所以鑑別力的缺口不是低分的症狀,它在滿分的時候照樣存在——實測那一輪的計分是五題全對,而四題零鑑別力。

這一點決定了它的偵測時機:分數好的時候最不會有人去驗,而分數好正是這個缺口最可能存在的狀態。一組題目若真的靠受測條文才答得出來,讀者會在依據句裡引用它;全對而依據句裡沒有它,就是要跑遮蔽的訊號。


與正對照的分界

正對照問工具會不會動,遮蔽推導問題目量不量得到它宣稱要量的那一款。 兩者都可以全綠而整個量測仍然無效:工具正常執行、每道題都答對,而那些答案與受測的條文無關。

順序上正對照在前——工具不動的時候遮蔽推導的結果沒有意義。而正對照全綠不構成跳過遮蔽的理由,因為它們檢查的是兩件獨立的事。


操作

遮蔽的範圍事先標定,不在看過答案之後劃。 事後劃範圍的人已經知道哪些字被用到了,於是會劃出一個剛好保留線索的邊界。標定的產物寫進獨立檔案,並由第二個人複核。

執行遮蔽推導的人,第一階段不得讀到被遮的字。 而他的輸入邊界是他讀得到什麼,不是交給他的文字寫了什麼:交付一個路徑就交付了它所在的整棵目錄樹,一次列目錄即穿透。零洩漏的比對對象因此要由「交付的文字」擴為「他可及的檔案集」。

遮起來仍推得出正解時,處置分兩種。 想保留這道題就改題(把題幹裡替代的線索拿掉),想保留這一款就換題(另出一道非它不可的)。兩種都不是改那一款的措辭——措辭不是問題,這道題從來沒有在量它。


判讀徵兆

  • 一組題目全對,而讀者的依據句裡沒有出現受測的那一款
  • 某一款的措辭改過幾次而通過率沒有動(包括改之前就已經是滿分)
  • 說得出通過幾題,說不出哪幾題是非那一款不可的
  • 遮蔽的範圍是在看過讀者的答案之後劃的
  • 執行遮蔽推導的人拿到的是一個路徑或一個目錄,而不是一段被遮過的文字
  • 量測的報告只有一欄分數,沒有一欄記這道題的鑑別力

跟其他抽象層原則的關係

  • #291 掃描指令壞掉時不會報錯,它報一個數字:那張卡的正對照證明工具會動,本卡的遮蔽證明題目在量它宣稱要量的那一款。兩者都是全綠而量測無效的守門人,而它們守不同的門——工具動了不代表題目有鑑別力,題目有鑑別力也不代表工具跑對了。順序是正對照在前,而它的綠燈不構成跳過本卡的理由。
  • #348 規範文字的效力由它在讀者程序裡的位置決定:那張卡把驗收拆成引用率與套用率兩個獨立的量,本卡加第三個——鑑別力。三者可以各自為真而互不蘊涵:一款被引用、被照做,而那道題遮起來仍答得對。同一張卡的「處置側不出題」與本卡接在一起:題目落在讀者走不到的位置時量到的零是題目的性質,而題目落在他走得到的位置卻不需要那一款時,量到的滿分同樣是題目的性質。
  • #349 量測的前置步驟決定了分母:同族而軸不同。那張問這次量了哪些單位,本卡問這次的題目量的是哪一個東西;那張的「丟棄規則要與被測量正交」與本卡共用一個結構——判斷標準或題目與被測量的關係沒被檢查過,於是讀數看起來健康而它描述的不是那個對象。
  • #353 從原則卡壓出來的操作形要獨立驗一次:那張說受測對象要選對層,本卡說選對層之後還要問這道題對那一層有沒有鑑別力。兩張合起來是量測設計的兩個獨立問題:量的是哪一份文字、以及這道題非那份文字不可嗎。