"Deployment"
- Client-Side LLM / Embedding
在 browser 內直接跑 LLM 或 embedding model 的 paradigm、靜態網站做 RAG 的關鍵基底
- 5.C1 Tradeshift:self-managed Kubernetes 遷移到 EKS
零停機平台遷移的分段策略案例。
- 5.1 container 與 runtime
整理 image、resource limit 與啟動行為
- 6.1 graceful shutdown 與 signal handling
用 signal 與 context 傳遞停止訊號
- 部署光譜:從 BaaS 到自架的四條路徑
監控方案的部署選擇不是二元的 — BaaS + Serverless 和 PaaS 是完全自架和商業 SaaS 之間兩條常被忽略的中間路徑
- 5.C2 Condé Nast:EKS 平台整併與標準化
多地區異質 Kubernetes 平台整併為統一控制面的案例。
- 5.2 Kubernetes 部署策略
整理 deployment、probe 與 rolling update
- 6.2 健康檢查與診斷 endpoint
區分服務可用性與工程診斷入口
- 5.C3 Orbitera:遷移到 Managed Kubernetes
平台重置時如何讓產品不中斷地完成編排層轉換。
- 5.3 load balancer 合約
整理 idle timeout、draining 與 health check
- 5.C4 Mobileye:Workloads 遷移到 EKS
大規模工作負載遷移到 managed Kubernetes 的分段治理案例。
- 5.4 service discovery
整理 endpoint discovery 與 DNS
- 6.4 版本偵測與 feature gate
依版本與環境能力啟用功能
- 5.C5 Miro:Managed EKS 遷移
從自維運平台轉向 managed EKS 的組織與技術協同案例。
- 5.5 平台與入口威脅建模(Threat Modeling)
以概念層判讀部署平台弱點,聚焦入口、生命週期、設定與交付節奏
- 7.5 Kubernetes、systemd 與 load balancer 合約
理解部署平台如何影響 Go 服務的 shutdown、health 與資源限制
- 6.5 跨進 production 的 routing 中樞
個人 dev → 團隊 → production LLM 服務的三層演化、跟 backend/07 對應卡片的 routing 清單
- 5.6 Platform Lifecycle Contract
說明 runtime、startup、readiness、liveness、shutdown 與 drain 如何組成平台生命週期合約。
- 5.C6 Airbnb:Kubernetes 叢集擴縮演進
從手動擴縮走向自動化容量治理的部署平台案例。
- 5.7 Traffic、Config 與 Control Plane Boundary
說明流量、設定、secret、service discovery 與管理面如何分責任與回退。
- 5.C7 Airbnb:Istio 升級治理
service mesh 升級在大規模環境下如何保持高可用。
- 5.8 Deployment Rollout with Drain and Rollback(實作示範)
以 checkout service 示範部署切換如何交付 canary evidence、drain signal、release gate 與 incident decision log。
- 5.9 邊緣分發與靜態資源(CDN / Origin Protection)
整理 CDN 與 edge cache 在部署平台中的責任邊界、origin protection、purge 與 invalidation 策略
- 4.9 Production 部署的資源評估原理
從本地單 user 到 production multi-tenant:concurrent users、cost model、observability、SLA、capacity planning 的設計取捨
- 5.C9 反例:平台切流未先 Draining
切流時忽略連線清退造成請求錯誤與重試風暴。
- Deployment Dry Run
說明發布前如何用預演檢查部署條件與風險
- 5.10 Outbound Tunnel 入口與生命週期
整理 cloudflared / Tailscale 等反向隧道的入口形態、生命週期合約與故障模式
- Kubernetes Graceful Shutdown:termination 序列跟你以為的不一樣
K8s pod termination 五步序列、preStop / SIGTERM / terminationGracePeriodSeconds 的真實時序、5 個 production 踩雷(500 期間 502、connection drain race、init container 重啟、StatefulSet 串行終止、Job 不 graceful)、跟 service mesh / readiness probe 整合
- 4.10 衍生產物管理原理:什麼進 git、什麼不該
LLM 應用的 source / derived / external 三類產物對應 git / build cache / registry、與 production 部署的 reproducibility / cost / share 取捨
- 5.C10 對照:規模差異下的平台遷移
平台遷移策略在小中大型組織下的差異。
- 程式碼版控與 FTP 部署紀律
無 SSH 環境的 PHP 專案的程式碼怎麼從 FTP 拉回來建 Git repo、設定檔怎麼分離、FTP 部署怎麼建立可追蹤的流程、以及怎麼用 CI 取代手動上傳
- Container 部署設計
Docker 部署 collector 的設計 — SQLite 在 overlay filesystem 的 I/O 考量、volume mount、graceful shutdown、資源限制
- 4.16 靜態 / serverless RAG deployment:架構選擇與資安取捨
沒 backend 的場景怎麼做 RAG:四種 deployment 方案、API key 暴露問題、CORS / abuse / 第三方信任、跟模組六的 routing
- LLM Deployment 供應鏈完整性
把 LLM 模型權重、推論伺服器、第三方 plugin 三條 production 供應鏈納入既有 artifact trust 框架的判讀
- Startup Probe
保護慢啟動服務不被 liveness probe 過早重啟的探針
- Canary Release
分批把流量導向新版本、用 stop condition 控制 blast radius 的部署策略
- Outbound Tunnel
反向隧道把出站連線轉成可達入口、與傳統 port-forward 的責任倒轉
- 7.22 資安風險如何進入 Release Gate
把資安風險、例外與驗證證據納入 release gate,建立可稽核的放行判準