"Foundations"
- 部署到底是什麼
第一次要把服務放上線、不確定「部署」到底在做什麼、跟在本機跑 npm start 差在哪時回來讀 — 上線這個動作的本質
- 0.1 為什麼 LLM 生字慢
自回歸架構與記憶體頻寬瓶頸:為何即使 Mac 算力很強,本地 LLM 仍一個字一個字吐
- 主機形態光譜
第一次要選服務跑在哪、被 VPS / IaaS / PaaS / serverless 這些詞搞混、不知道差在哪時回來讀 — 主機形態是一道「你管多少」的光譜
- 0.2 介面 / 伺服器 / 模型三層架構
把任何本地 LLM 工具放回正確的層級,用三層心智模型看懂工具關係
- 域名與 HTTPS 怎麼接上
服務跑在一個 IP 上了、但不知道買的域名怎麼指過去、網址前面的鎖頭(HTTPS)憑證從哪來時回來讀 — 域名解析與 TLS 的最小認識
- 0.3 OpenAI 相容 API
為什麼幾乎所有本地 LLM 工具不用改就能切到本地:背後是同一套 API 形狀
- 十二要素基線
服務能上線了、但一換機器 / 換環境就出狀況、設定散在各處、log 不知道去哪找時回來讀 — 讓服務好部署好搬家的幾條基本紀律
- 0.4 MLX / MTP / oMLX 的區別
三個常被混為一談的術語:framework、加速技巧、特化 server,疊加而非互斥
- 自架還是託管:以資料庫為例
在 VPS 上自己跑一個 DB container 很便宜、看到 RDS / Cloud SQL 一個月要幾十鎂而猶豫時回來讀 — 成本差在哪、差價其實在買什麼
- 0.5 Apple Silicon 記憶體預算
記憶體決定能跑什麼,Q4 量化下的可運作模型對照與系統保留
- 備份與還原的地基
有了線上資料、知道「要備份」但不確定備什麼、多久一次、以及為什麼「沒測過還原的備份等於沒有」時回來讀 — 備份的地基認識
- 0.6 判讀本地 LLM 資訊的五個框架
本地 LLM 資訊更新快,學會用版本、層級、變數、能力、資料流五個框架評估文章與宣稱
- 0.7 隱私 / 資安的資料流原理
從「位置」到「資料流」的思考升級:信任邊界、合約模型、零信任原則套用到 LLM 工作流
- 0.8 Deterministic vs Fuzzy Engineering:軟體設計典範的位移
傳統 deterministic 軟體跟 fuzzy LLM 軟體在資料、邏輯、分解、實驗成本四個維度的根本差異、以及哪段該 deterministic、哪段該 fuzzy 的決策框架
- 0.0 本地 vs 雲端 LLM
從隱私、成本、速度、能力四個維度建立本地與雲端 LLM 的基本對照