Binomial proportion confidence interval（二項比例信賴區間）
Binomial proportion confidence interval（二項比例信賴區間）
Binomial proportion confidence interval（二項比例信賴區間）是從 n 次獨立試驗裡觀察到 k 次某種結果（例如失誤），推出這個結果真實發生率可能落在的範圍。評估模型時的「n 題裡錯 k 題」就是二項試驗，觀察到的比例 k/n 只是一個估計值；信賴區間告訴讀者這個估計值有多可靠，尤其是 n 小的時候；量機率校準時每一組的答對比例，也是這種估計。
概念位置
| 算法 | 做法 | 適用情形 |
|---|---|---|
| 常態近似（Wald 區間） | 比例 ± 1.96 × √(p(1−p)/n) | n 大、比例不靠近 0 或 100%；n 小或零失誤時會給出錯誤的窄區間 |
| 零失誤的精確上界 | 1 − α^(1/n)，α 取 0.05 時是單尾 95% 上界 | 一次失誤都沒有時；n = 5 約 45%、n = 20 約 14% |
| Rule of three | 3/n | 零失誤且 n 較大時，近似單尾 95% 上界；n 小時偏寬 |
| Clopper–Pearson 精確區間 | 由二項分布反推（等同 Beta 分布的分位數），上下界各自取尾機率 | 有失誤、n 小時；結果偏保守 |
它和機率校準是兩件事：校準量的是模型給的機率與答對頻率是否相符，信賴區間描述的是從這幾題能對真實失誤率下多強的結論。量校準的每一組信心區間，答對比例本身也有這裡講的不確定性。
可觀察訊號與例子
- 試跑 5 題全對，有人據此判定「這個做法可靠」。零失誤時的單尾 95% 上界約 45%，資料只排除了失誤率高於 45% 的情形，詳見 4.23 System 1 決策模型。
- 兩個 prompt 在 20 題上分別答對 11 題與 12 題，被讀成答對 12 題的那個比較好。比例在 50% 附近、n = 20 時，單一比例的 95% 區間寬約正負 22 個百分點，這個差距在取樣誤差之內；兩個 prompt 用的是同一批題目時，比較要用成對檢定（例如 McNemar 檢定），單一比例的區間寬度只是粗略的參考。
- 同一個數字用不同的工具算出不同的上界：多數統計函式庫的 95% Clopper–Pearson 指雙尾（上下各 2.5%），零失誤時上界是 1 − 0.025^(1/n)，n = 9 時約 34%；單尾 95% 是 1 − 0.05^(1/n)，n = 9 時約 28%。
設計責任
- 寫明單尾還是雙尾：只關心「失誤率不高於多少」時用單尾上界，報告與決策表要寫清楚，否則讀者用函式庫預設的雙尾算出來的上界會比較寬，同一個門檻判出不同結論。
- 樣本數依預期失誤率估，不依零失誤估：零失誤時讓上界低於門檻的樣本數只是下限。真實失誤率不是零時，有失誤的樣本上界會變寬：門檻 30%、真實失誤率 10% 時，9 題只有約 39% 的機率得出「上界低於門檻」，50 題約 98%。
- 試驗要彼此獨立：同一件事被反覆提問的多題、同一段對話或同一個專案來的題目彼此相關，區間會偏窄。把相關的題目合成一組計數，並在下結論前補第二個來源的資料。
- 兩個比例比較要另外估樣本數：比較兩個版本的失誤率時，樣本數依要分辨的差距估。例如要分辨 50% 與 30%（雙尾 α = 0.05、檢定力 0.8），每個版本約需 93 次。