Datadog on Tarragonhttps://tarrragon.github.io/blog/backend/08-incident-response/cases/datadog/Recent content in Datadog on TarragonHugo -- gohugo.iozh-TWTarragon (CC BY 4.0)Fri, 01 May 2026 00:00:00 +0000Datadog：2023 多區觀測中斷事件https://tarrragon.github.io/blog/backend/08-incident-response/cases/datadog/2023-multi-region-observability-disruption/Thu, 07 May 2026 00:00:00 +0000https://tarrragon.github.io/blog/backend/08-incident-response/cases/datadog/2023-multi-region-observability-disruption/<p>這起案例的核心責任是處理「監控系統本身失效」的盲區。當觀測平台中斷，事故判讀需要立即切換備援證據來源。</p> <h2 id="判讀訊號">判讀訊號</h2> <table> <thead> <tr> <th>訊號</th> <th>判讀重點</th> <th>回寫章節</th> </tr> </thead> <tbody> <tr> <td>telemetry gap</td> <td>缺失是否影響決策</td> <td><a href="https://tarrragon.github.io/blog/backend/08-incident-response/incident-intake-evidence-triage/" data-link-title="8.18 Incident Intake &amp; Evidence Triage" data-link-desc="把告警、客訴、支援回報與第三方狀態轉成同一個 intake / evidence 判讀流程">8.18</a></td> </tr> <tr> <td>customer-side false normal</td> <td>客戶是否誤以為服務正常</td> <td><a href="https://tarrragon.github.io/blog/backend/08-incident-response/stakeholder-communication/" data-link-title="8.10 Stakeholder 通訊與外部狀態頁" data-link-desc="把 impact scope、status page、補償政策串成節奏">8.10</a></td> </tr> <tr> <td>fallback evidence readiness</td> <td>備援證據能否即時接手</td> <td><a href="https://tarrragon.github.io/blog/backend/04-observability/observability-evidence-package/" data-link-title="4.20 Observability Evidence Package" data-link-desc="把 log、metric、trace、audit 與資料品質限制包成可交接證據">4.20</a></td> </tr> </tbody> </table> <h2 id="邊界判讀">邊界判讀</h2> <p>這個案例的邊界是「觀測資料缺失時的事故判讀」。主要風險是把缺失資料誤判為服務恢復，導致決策建立在錯誤安全感上。</p> <h2 id="下一步路由">下一步路由</h2> <p>事故流程要預留「觀測失明」分支，並在復盤回寫 <a href="https://tarrragon.github.io/blog/backend/08-incident-response/incident-evidence-write-back/" data-link-title="8.22 Incident Evidence Write-back" data-link-desc="把事故證據、決策與復盤結論回寫到 observability、reliability 與 runbook">8.22</a>。同時補 <a href="https://tarrragon.github.io/blog/backend/04-observability/observability-evidence-package/" data-link-title="4.20 Observability Evidence Package" data-link-desc="把 log、metric、trace、audit 與資料品質限制包成可交接證據">4.20</a> 的備援證據來源。</p>這起案例的核心責任是處理「監控系統本身失效」的盲區。當觀測平台中斷，事故判讀需要立即切換備援證據來源。

判讀訊號

訊號 判讀重點 回寫章節
telemetry gap 缺失是否影響決策 8.18
customer-side false normal 客戶是否誤以為服務正常 8.10
fallback evidence readiness 備援證據能否即時接手 4.20

邊界判讀

這個案例的邊界是「觀測資料缺失時的事故判讀」。主要風險是把缺失資料誤判為服務恢復，導致決策建立在錯誤安全感上。

下一步路由

事故流程要預留「觀測失明」分支，並在復盤回寫 8.22。同時補 4.20 的備援證據來源。

]]>