證據來源指一本書的結論建立在什麼材料上,而那個材料決定結論可以支持多大範圍的決定。同一句主張由數萬份跨組織調查推出,跟由作者在三家公司的經歷推出,讀起來的說服力可以一樣,能拿去做的事卻不同:前者支持得了組織層級的改變,後者只支持得了「拿來對照自己的處境」。它跟 處境相容性 分工明確——證據來源問的是這個結論能推到多遠,處境相容性問的是它預設的環境在這裡存不存在。

概念位置

這一項是書單推薦那組維度裡最先問的一個,因為其餘幾項都在它之後才有意義:結論的效力範圍決定了要不要繼續問它過不過時、環境對不對得上、什麼時候讀。

它跟 處境相容性 之外的另一個對照是時效狀態,兩者是彼此獨立的軸。時效問「這段論證依賴的前提現在還在不在」,證據來源問「這段論證的材料本來就支持得了什麼」。1987 年的顧問經驗與 2018 年的顧問經驗在時效上差三十年,在能支持的決定範圍上沒有差別——那個範圍由材料的形態決定,跟出版年無關;反過來,同一年出版的大規模調查與個人回憶錄時效相同,能支持的範圍差一個量級。

判定的材料多半來自書本身:前言或方法章節通常會自述資料從哪來。取自第三方評述或體裁推斷的判定可信度較低,書單推薦的做法是寫出這個判定是從哪裡看出來的。

證據類別與各自的效力範圍

這些類別由本書單從它收錄的書的實際落點歸納,不對應任何既有的分類法,而且不排成一條線。前半組(大規模實證、跨組織案例、單一組織的深度重建、跨客戶的顧問經驗、單一路徑的個人經驗)之間可以比樣本廣度,但那把尺也不乾淨——單一組織的深度重建廣度是一,排序卻靠前,因為記錄的深度與可查證性在那裡補了回來。後半組各自另有限制軸:受控實驗的限制是生態效度,理論建構的是它繼承的東西,作者自建的方法是干預與觀察同源,虛構敘事是沒有資料。表格的順序不是效力排序。一本書可以同時落在兩類,顧問經驗加理論建構是最常見的組合。

類別材料形態支持得了什麼
大規模實證數萬份調查、跨組織統計組織層級的改變
跨組織案例多個組織並列比較,敘述而非統計「這條路別人走過」,不含「在我們這裡也會成立」
單一組織的深度重建一個組織或一次事件被完整記錄,包括制度紀錄機制的完整樣子,代價是那些機制常依賴該組織的條件
跨客戶的顧問經驗作者數十年在多個組織的現場觀察別處拿不到的細節與語言,答不了「在我的組織成立嗎」
單一路徑的個人經驗作者自己走過的那一條路,含在少數幾家公司的任職對照自己的處境,樣本是一
受控實驗心理學或行為科學的實驗研究對它測的那個機制很硬,實驗室到工作現場那一段要自己接
理論建構把零散的做法、或既有的研究,組織成一套解釋串連已知的事。它自己不產生新證據,而整合研究的那一種會繼承被它整合的研究的一部分效力,判斷時要回頭看它整合的是什麼
作者自建的方法方法由作者提出,效果宣稱來自訓練現場的自陳而沒有獨立驗證自己團隊的實驗協議,組織層級要另外找依據
虛構敘事結論由劇情推出,沒有資料佐證建立共同語言,不當論證的依據

分類本身不是評價:虛構敘事在「讓一群立場不同的人開始用同一組詞討論」這件事上,效果經常勝過統計報告,只是那個用途跟「拿數字去說服決策者」不是同一件事。

表裡最容易誤讀的是受控實驗那一類,因為它讀起來最像科學。「實驗室到工作現場那一段要自己接」落到操作是:實驗測的可能是二十分鐘內的一個受控任務,而要用它的地方是連續三個月的專案排程。拿它去支持排程政策時,被問的第一個問題會是實驗的時間尺度,而那個落差在書裡不會被標出來——原作者交付的是機制,接到現場那一段本來就不在他的責任範圍。

材料的成員憑什麼進來,決定同一類能推到多遠

判完類別之後還有一項檢查:倖存者偏誤問的是樣本的進入條件。材料形態再硬,只要那個條件本身包含「後來活下來了」,那個硬度就不會轉成結論的可推廣範圍。定義、篩選會發生在哪些地方、以及判讀程序都住在那張卡;這裡只寫它在選書上的形態。

在書上,篩選發生在出版這一關:寫書的機會來自已經有的成績,所以結果分佈的下半部不留下文字。失敗自述確實是存在的書種,而能出版的是戲劇性的失敗,不是中位數的那種——缺席的正好是「平庸地失敗」,也正是估機率最需要的那一格。結果變異越大的領域這一層越強:投資與創業的變異大到單一樣本分不出方法與運氣,於是作者履歷再漂亮,樣本仍然是一,而且是被結果先選過的一。

選書上的動作跟資料集不同:翻目錄找「這套方法什麼時候不管用、作者怎麼知道」那一章——作者交代過自己的失效條件,這一項才算通過。宣稱範圍該怎麼限定、以及為什麼不能拿它當一票否決,見那張卡。

判錯的代價要到出示依據時才現形

判錯這一項的後果有延遲,而延遲正是它需要被寫下來的理由。拿一本靠劇情推出結論的書去支持部署流程的改動,提案在會議上被問資料在哪,而書裡沒有數字可以指。敘事型的書讀起來說服力不低於統計型的,差別在讀的當下沒有任何訊號。代價不只是那次被擋下來——提案被歸成個人偏好之後,下一次帶著統計資料來還得先洗掉這個印象。

反向的判錯同樣有代價,只是延遲更久:把一本大規模實證的書當成個人經驗談讀過去,讀完記下的是作者的一個看法。等到要推動一項全部門的改動、需要指出一個數字時,手上只剩印象——那本書裡本來就有一個可以指的,而讀的當下沒有任何訊號提示要標記它。

判讀方式

同一本書拿去做兩件不同的事,這一項會給出兩個答案,所以它要連著用途一起問。要說服別人時找大規模實證,要理解機制時找深度重建,要建立共同語言時虛構敘事就夠了,要拿一套做法在自己團隊試時作者自建的方法反而最直接。

兩本書講同一件事而結論相反時,先比證據類別再比論證。類別不同時,比完之後的動作是把支持範圍窄的那一本降級成「該處境下的一則觀察」,而不是判誰對——類別不同的兩個結論本來就在回答不同大小的問題,衝突不必解。兩本都是單一路徑的個人經驗時,相反的結論同時成立並不矛盾——那表示這件事取決於兩位作者處境的某個差異,而找出那個差異比選邊站有用。

同一個作者的多本書通常共用同一組材料,因此證據類別相同。書單推薦 的收錄規則據此把在同一個主題裡承擔同一種用途的多本書合寫成同一個條目,而不是各佔一條。