概念位置

2025 版的 10 項（簡述）：

跟模組六的 mapping

設計責任

讀企業 LLM 安全 / 合規文件 / vendor security audit 看到「OWASP LLM Top 10」就是這 framing。寫 code 場景的判讀：

1. 跟企業溝通必備：安全 team / vendor audit 都用 OWASP 編號、能 map 自己應用到 LLM01-LLM10 就能 align 對話
2. 不是 production 才需要看：個人 dev 也適用大部分（LLM01 prompt injection、LLM03 supply chain、LLM06 excessive agency 對個人都直接相關）
3. 跟 6.6 OWASP 對照章節 的關係：本卡是定義 + mapping、章節是詳細 mapping + 個人 dev 場景的對應 control

概念位置

Prompt injection 的兩種主要形態：

Indirect injection 的常見入口：

1. 檔案內容：codebase 中的 README、依賴的 package README、PDF / Word 文件
2. Web 內容：tool 抓的網頁、社群留言、PR 描述
3. tool 回傳結果：DB 查詢結果、API response、其他 service 回傳
4. 使用者貼上內容：從外部複製貼上、帶進惡意 prompt
5. agent 自我循環中累積：sub-agent 回傳、長 agent loop 中前段 injection 影響後段

事實查核註：prompt injection 的攻擊形態跟研究進展快速演進、本卡描述參考 OWASP LLM Top 10 LLM01 跟 Greshake et al. 的「Indirect Prompt Injection」論文、引用前以對應的最新版本為準。

實際造成影響的不是 injection 本身、是 LLM 輸出後的下游動作：

1injection → LLM 輸出 → 下游動作（這裡才是真正攻擊面）
2                       ├── 使用者照建議貼到 shell 跑
3                       ├── tool use 自動執行
4                       ├── 寫進 commit / 文件
5                       └── 觸發下一個 agent

設計責任

理解 prompt injection 後可以解釋兩個現象：為什麼「擋住 injection」對 production LLM application 是不切實際的目標（外部內容會持續引入）、為什麼防禦重點應該放在「下游動作的可逆性 + review checkpoint」（injection 不可完全擋住、但後果可以收斂）。

防禦設計的層次：

1. 降低觸發率：明確標記 untrusted 內容、強化模型對齊（vendor 端責任）。
2. 限制能力上限：tool use 白名單、副作用可逆性、agent loop 步數限制。
3. 後果可控：人為 review checkpoint、自動偵測異常（見 LLM Service 偵測訊號覆蓋）。

詳見 6.3 IDE 場景的 prompt injection 跟 LLM Agent Prompt Injection 後果治理。

本章目標

讀完本章後、你應該能：

1. 對照 OWASP LLM Top 10（LLM01-LLM10）跟自己工作流的具體風險。
2. 看到 enterprise security audit 報告用 OWASP 編號、能 map 到模組六章節找對應 control。
3. 知道哪些 OWASP 項目模組六完整覆蓋、哪些只覆蓋部分、哪些屬其他模組或 backend/07。

OWASP LLM Top 10 2025

OWASP（Open Worldwide Application Security Project）的 LLM 應用安全清單、2025 更新版：

事實查核註：OWASP 列表會定期更新（2023 → 2025、未來會有新版）、引用前以 OWASP LLM Top 10 當前版為準。

詳細 mapping

LLM01 Prompt Injection

OWASP 範圍：使用者輸入 / 外部資料 / RAG retrieved content 中藏指令、影響模型行為。包含 direct injection（user 自己注）跟 indirect injection（內容裡有人塞）。

模組六對應：

• 主章節：6.3 IDE 場景的 prompt injection
• 覆蓋：間接注入（codebase / 第三方依賴 / issue / 剪貼簿 / web fetch）、本地 LLM 跟雲端 LLM 的抵抗能力差異、IDE 場景的具體入口
• 不在 M6 範圍：production agent 場景的 prompt injection 後果（資料外洩 / 誤觸 tool）見 backend/07 LLM agent prompt injection

個人 dev 場景的最低 control：RAG exclude .env / secrets、tool use 加 confirm（見 6.2）、agent loop 設 max steps、untrusted 來源內容明確標記

LLM02 Sensitive Information Disclosure

OWASP 範圍：模型輸出洩漏訓練資料、system prompt、PII、商業機密、API key。

模組六對應：

• 主章節：6.4 跨雲端 / 本地的資料邊界
• 覆蓋：跨雲端 prompt 邊界、第三方 plugin 偷送 prompt、API key 不放在前端 JS
• 補充章節：4.16 靜態 / serverless RAG 資安 的 API key 暴露段、user query 隱私段
• 不在 M6 範圍：企業合規（GDPR / HIPAA / SOC 2）的逐條檢核屬 backend/07

個人 dev 場景的最低 control：本地敏感任務不送雲端、雲端 model 明確標記、API key 從環境變數讀

LLM03 Supply Chain

OWASP 範圍：模型權重、訓練資料、tokenizer、dependency 套件、MCP server 等的供應鏈風險。

模組六對應：

• 主章節：6.0 模型供應鏈與信任邊界
• 覆蓋：GGUF / HuggingFace / Ollama registry 信任、量化版本污染、權重完整性、MCP server 信任
• 補充：4.16 靜態 RAG 資安 的 client-side LLM 模型 CDN 信任段
• 不在 M6 範圍：production 模型 release / SBOM / artifact provenance 屬 backend/07 supply chain

個人 dev 場景的最低 control：選主流作者 / 量化者、下載後 hash 比對、MCP server 跑 sandbox

LLM04 Data and Model Poisoning

OWASP 範圍：訓練資料被植入惡意樣本、fine-tune 資料污染、模型行為後門。

模組六對應：部分覆蓋

• 覆蓋：6.0 模型供應鏈 的「量化版本污染」段、選主流作者的 framing
• 不在 M6 範圍：自己 train base model 或 large-scale fine-tune 的資料治理屬研究 / production team 範圍、見 3.4 訓練流程 概念 + 1.x hands-on local-fine-tune 的小規模 fine-tune 注意事項

個人 dev 場景的最低 control：個人 dev 多用既有模型、threat model 不涵蓋自訓 base、用主流作者降低 poisoning 風險

LLM05 Improper Output Handling

OWASP 範圍：把 LLM 輸出直接餵給下游系統（執行、render、SQL query）、若 LLM 輸出含惡意內容、下游 XSS / SQLi / RCE。

模組六對應：

• 主章節：6.2 tool use 與 MCP server 的權限模型
• 覆蓋：tool 副作用範圍 spectrum、可逆性、confirm 機制
• 補充原理：4.3 tool use 副作用範圍設計
• 不在 M6 範圍：web app 場景的 output sanitization、CSP、render escape 屬一般 web 安全 + backend/07

個人 dev 場景的最低 control：副作用類 tool 加 confirm、shell 命令前 review、git track + diff

LLM06 Excessive Agency

OWASP 範圍：Agent 工具權限過大、副作用範圍超出需求、agent loop 太自主沒人類審查。

模組六對應：

• 主章節：6.2 tool use 權限 + 4.4 Agent 跟人類審查協作
• 覆蓋：sandbox / 白名單 / 副作用可逆性、agent 人類審查 spectrum、coding agent 的 permission boundary（hands-on）
• 補充：4.17 coding agent harness 的 permission boundary 設計

個人 dev 場景的最低 control：副作用 tool 加 confirm、agent max steps、production-level tool 不放在 dev agent 可達範圍

LLM07 System Prompt Leakage

OWASP 範圍：使用者透過 prompt engineering 誘導 LLM 露出 system prompt 內容、暴露商業邏輯 / 提示工程 know-how。

模組六對應：部分

• 覆蓋：4.17 coding agent harness 的 scaffold 設計提到 system prompt 是核心元件、但沒專門講 leakage
• 不在 M6 範圍：sysprompt leak 主要是 production 商業祕密議題、屬 backend/07 / 各 vendor docs

個人 dev 場景的最低 control：不要把 secret（API key、internal info）寫在 system prompt、敏感邏輯放後端而非 prompt

LLM08 Vector and Embedding Weaknesses

OWASP 範圍：Vector DB 被污染、embedding model 被攻擊、retrieval pipeline 被注入毒文件、跨租戶 vector 污染。

模組六對應：部分

• 覆蓋：4.16 靜態 RAG 資安 的「第三方 SaaS 信任」段、跨租戶 isolation 議題
• 補充原理：4.1 RAG 原理 的失敗模式、4.12 embedding model 內部
• 不在 M6 範圍：production multi-tenant vector DB 屬 backend/07 多租戶 isolation

個人 dev 場景的最低 control：RAG ingestion 加 PII / secret filter、vector DB 選 search-only key、不混跨 user vector

LLM09 Misinformation

OWASP 範圍：LLM hallucination 被當真實、使用者過度信任輸出做 critical 決定。

模組六對應：跨章節

• 概念基礎：hallucination 卡
• 評估方法：4.14 benchmarking + 4.21 LLM-as-judge
• 應用層緩解：4.1 RAG（給 LLM 外掛真實知識）、4.4 agent 的人類審查 spectrum
• 不在 M6 範圍：M6 預設 dev 自己驗證輸出、不專章寫

個人 dev 場景的最低 control：critical 任務人類 review、複雜推理用 reasoning model、code 生成必跑 test

LLM10 Unbounded Consumption

OWASP 範圍：Resource exhaustion（context / token / GPU memory 燒爆）、cost runaway（API quota 被偷用 / agent 無限 loop 燒錢）。

模組六對應：部分

• 覆蓋：4.16 靜態 RAG 資安 的「rate limit / abuse」段、靜態前端被 scrape 後燒 LLM quota 的情境
• 補充：4.18 prompt caching（Prompt Cache、cost 控制）、4.4 agent 的 termination（max steps / cost cap）、4.17 coding agent harness 的 budget management
• 不在 M6 範圍：production rate limiting / DDoS 防護屬 backend/07 entrypoint protection

個人 dev 場景的最低 control：agent 設 max_steps / max_cost、API key 不放前端 JS、用 edge function 加 rate limit

速查表

按 OWASP 編號排序、給定 OWASP 項目可快速找對應 control 章節：

跟 backend/07 的分工再述

模組六是「個人 dev 視角」、跟 backend 模組七 資安 是分工關係（6.5 routing-to-production-security 有詳細）：

OWASP LLM Top 10 是兩邊共用詞彙、不限本地或 production。

何時過時 / 何時不過時

不會過時的部分：

• OWASP LLM Top 10 作為企業合規溝通共同詞彙的地位
• 本章 mapping 表的 framing（每個 OWASP 項對應模組六哪章 / 部分覆蓋 / 跨模組）
• 模組六跟 backend/07 的分工

會變的部分：

• OWASP 清單本身（2023 → 2025 → 未來新版、項目可能調整）
• 具體 vendor security audit 的範本（不同 vendor / industry 不同）
• 跟其他 framework（NIST AI RMF、ISO/IEC 42001）的對照

下一步

本章是模組六最後一章。production 多租戶服務化資安見 backend 模組七。