論述基礎與限制

本卡從一次術語探針抽出。五份互不通訊的低階模型讀同一份逐字相同的清單,清單有五個測試詞與兩個控制詞、不標示哪個是控制。兩個控制詞收斂,照既有的判斷標準這一批可以採用。

回報之後才發現的是:探針是同一個 repo 裡派出的 subagent,它的系統提示帶著這個 repo 的規範檔,而那份規範檔定義了其中三個測試詞。把回報按「這個詞在規範檔裡出現幾次」排開,兩者同向:

詞規範檔詞頻五份的回報
理解取樣3五份有把握,定義逐字合本站
承重術語2五份有把握,合本站
可動項1四份沒把握
推導源頭0五份沒把握

決定性的一項在定義的內容裡而不在收斂度上:有一份把「理解取樣」定義成「用低階模型獨立多次讀同一份文字,比對各份報告的分歧」。那是這個 repo 自己發明的做法,不在任何公開語料裡。另一份自己說了出處——它回報某個詞沒把握,理由是「看過『就地展開』和『句自足規則』的提及」,而那兩個字串正是規範檔裡的。

第二次量測用安慰劑詞跑對照,結果是決定性的。清單裡放了兩個只在規範檔出現一次、而在該領域確定不通用的自造詞(本站命名的兩種寫作缺陷),混在兩個通用控制詞與一個測試詞裡。三份探針對那兩個自造詞全數有把握,給的定義與規範檔的原文近乎逐字——其中一份寫出「抽象概念沒有重量、支點或結構強度,這些動詞借來物理直覺會蓋住實際的邏輯關係」,另一份寫出「在知識卡的術語分層裡,承重術語必須行內展開」,兩句的來源都是規範檔而不是任何公開語料。第三份在結尾自評「所有五個術語都有高度把握,無一分歧或缺口」——一份完全被污染的批次,回報的是一張乾淨的報告。

這一輪同時排除了第一輪最強的替代解釋。第一輪的相關可以讀成「詞頻高的詞本來就比較通用」,而安慰劑詞在規範檔只出現一次就拿到三份全中,所以做功的是詞在不在提示裡,不是它出現幾次。

這張表另有一個要記住的性質:它量的是規範檔當下的內容,而規範檔一直在改。表上的口徑是 AGENTS.md 單檔、量於派發當下;換一個口徑(例如把 CLAUDE.md 一起算進來)會得到另一組數字,而那組數字與收斂度的關係沒有被驗過。要拿這張表當依據就先確認口徑,並自己重量一次——「逆向命中可直接採信」那個判定建立在其中一個詞當時的低詞頻上,輸入若被後續改動推高,那一條要重跑才算數。

限制:兩輪都在同一個專案、同一個模型家族上跑。換一份規範檔或換一個模型家族是否重現沒有測過。第一輪那張詞頻表的口徑是 AGENTS.md 單檔、量於派發當下,而詞頻會被後續改動推動——它是快照不是穩定屬性,決定性的證據在探針引用規範檔字串那一句上,不在表格裡。推翻方式:拿一批確定非通用的自造詞,在一個不帶那些詞的環境裡跑同一組探針,若仍然全數有把握,代表模型是從別處知道的,本卡的歸因不成立。


核心原則

術語探針量的是「這個詞面在目標語域裡有沒有穩定的所指」,而這個量測預設探針手上只有它既有的知識。 探針如果讀得到一份定義該詞的文字,它回報的是那份文字,量測的對象就從語域換成了那份文字。兩種結果在報告上長得一樣:都是幾份有把握、定義彼此一致。

這個配置是預設值,不是失誤。 專案的規範檔會自動進入 subagent 的系統提示,派發的人不必做任何事就得到這個結果;而規範檔裡有那些詞,正是因為它們是這個專案在用的詞——也就是說,最需要被量的詞,恰好是最可能出現在提示裡的詞。

既有的控制詞擋不住這一種。 控制詞挑的是該領域確定通用的詞,通用詞不論探針讀不讀得到提示都會收斂,所以它對這個失效模式無感。它守的是「這批模型行不行」,守不到「這批模型是從哪裡知道的」。


反模式:拿收斂當語域的證據

一個詞五份全數有把握而定義一致,讀起來就是「這個詞在該領域通用」。處置跟著往下走:通用的詞不必定義,留著就好。

被留下來的那個詞於是進入下一批文章,而真實讀者手上沒有那份規範檔。作者這一邊的紀錄寫著「量過、通用」,所以它不會再被送進任何一批探針。

實例:本次的「承重術語」與「理解取樣」兩個詞在這一批的回報上與控制詞無法區分,而它們一個是從建築借來的、一個是這個 repo 自己命名的。


修法

同一批多放一個安慰劑詞。 它與通用性控制詞的職責不同——通用性控制詞收斂代表這批模型可用,安慰劑詞收斂代表這批模型在讀提示。兩個都要有,兩個都不標示。

安慰劑詞有四個條件,缺一就給假訊號:與測試詞同域(跨域的詞回報「沒見過」是因為領域不符,假陰性)、只在規範檔出現、語意不可由組成推出(可拆解的詞探針靠拆解就答得出來,假陽性)、詞頻與測試詞同量級。規範檔涵蓋的領域有限,所以對別的分類多半撈不到合格的安慰劑詞——那時的處置是在報告上記「本批無污染對照」,不是把跨域的詞湊上去。

回報之後先把測試詞在提示裡的詞頻列出來,再讀收斂度。 這一步在歸因之前。詞頻與把握度同向的那些,這一批對它們無效,要換配置重測。

「換一個乾淨的配置重測」目前指不到一個打得開的東西。 規範檔在 session 開始時依專案目錄載入,subagent 繼承它,而派發用的介面沒有換工作目錄的參數;「在另一個專案裡開 session 派探針」在流程上做得到而沒有人跑通過。跑通之前不要把它寫成規範裡的補救步驟——那會讓唯一可執行的分支變成豁免,而豁免比它便宜無限倍。可執行的是承認這一批對那幾個詞沒有結論,並把它記下來,不要當成「已量測」。

逆向的結果仍然可用。 提示裡有那個詞而探針仍然沒把握,代表污染的方向與結論相反而結論還是成立——這種命中可以直接採信。本次的「可動項」屬於這一類。


判讀徵兆

徵兆為什麼是訊號下一個動作
探針給的定義帶著本專案特有的做法或字串那是它讀到的東西,不是領域知識整批判為污染,換配置重測
探針自己提到某個相鄰字串當作判斷依據它在引用提示,而且這一次剛好說了出來同上;這是最省事的一種偵測
把握度與該詞在專案規範檔的詞頻同向兩者本來無關,同向代表量到的是詞頻列出詞頻表再決定哪幾個詞可採用
一個作者自己造的詞被回報成「該領域通用」這個結論不可能來自公開語料直接判污染,不必再看收斂度
探針在報告結尾自評「這一批全數有把握、無分歧」收斂度最高的批次也可能是污染最徹底的批次,兩者外觀相同看安慰劑詞那一格,不看這句總評
探針是在專案目錄下派出的 subagent規範檔預設進入系統提示,這是配置問題不是機率問題派發前就先確認測試詞在不在提示裡
測試詞在規範檔的詞頻全部是零這個檢查對規範檔沒涵蓋的領域是恆真的,通過不代表乾淨記為「本批無污染對照」,不要記成「已查、可採用」

跟其他抽象層原則的關係

限定 #289 術語探針量的是語域不是自創 的適用條件。 那張卡立的方法預設探針手上只有既有知識,而在專案目錄下派 subagent 這個最常見的執行方式不滿足這個預設。那張卡的設計條件因此要多一條:測試詞不在探針讀得到的提示裡,或同批放一個安慰劑詞。

與 #307 收斂度分不出無主的詞與有主人的詞 是同一個量測的兩個失效面。 那裡是收斂度這個統計量分不出兩種成因,要讀定義的內容;這裡是收斂度本身被外部條件污染,要看配置。兩張卡指向同一條紀律——探針報告的數字欄回答不了它自己的成因,成因要另外查。

與 #290 探針的獨立性不可移轉 同機制。 那裡的變數是餵給探針的內容範圍,這裡的變數是探針的系統提示;共同點是探針手上有什麼決定它量得到什麼,而這一項在派發時是預設值、不是被決定的東西。

受 #281 理解用取樣不用判斷 的設計條件約束,並補它一條。 那張卡列的五個設計條件管的是指令與內容範圍,沒有管探針的系統提示;理解取樣受影響較小(它讀的是眼前那份稿件),術語探針受影響最大(它答的是自己記得什麼)。