"Structured-Output"
- DSL(Domain-Specific Language)
為特定業務或技術領域設計的小語言,在 LLM 應用中常作為可解析、可驗證、可執行的中介輸出
- Grammar
描述合法字串形狀的形式規則,在 structured output 中用來限制 LLM 每一步可輸出的 token
- Structured Output
讓 LLM 輸出可被 parser 穩定消費的推論階段設計:JSON mode、schema-guided decoding、grammar 約束都屬於這一層
- Constrained Decoding
推論時用 grammar 強制 LLM 輸出符合特定格式(JSON / regex / CFG)的 sampling 機制、把不合法 token 的機率歸零
- 4.6 應用層協議:function calling / structured output / MCP
三個常被混為一談的概念:模型能力、sampling 約束、server 協議,三者的層級差異與組合方式
- 3.10 Constrained decoding 內部:grammar mask 跟性能取捨
Constrained decoding 的內部運作:token mask 計算、JSON schema / regex / CFG 三種 grammar、XGrammar pre-compile 機制、性能反而加速