In-Context Learning
In-Context Learning
In-context learning(ICL)的核心概念是「模型在不更新權重的情況下,從 context window 內資訊臨時學會任務格式與判準」。它是 LLM 跟傳統模型最不同的能力之一:任務規則可以放在 context 裡,而不是一定要 fine-tune 進權重。
概念位置
ICL 是推論時行為,不是訓練流程。Few-shot prompting 是 ICL 最常見的操作方式;SFT、LoRA、QLoRA 則是修改權重的訓練或微調方式。
可觀察訊號與例子
給模型三個分類範例後,第四個樣本就按同一標準分類,這是 ICL。把專案命名規則、輸出格式、review rubric 放進 prompt,模型在當次回合遵守,也屬於 ICL。
設計責任
ICL 適合快速迭代與少量範例;當範例多到吃滿 context window、每天重複使用且標準穩定時,再考慮 fine-tune。需要穩定輸出格式時,ICL 應搭配 structured output 或 validator。