"Long-Context"
- Lost in the Middle LLM 對 long context 中段內容的 attention / recall 顯著低於開頭與結尾的現象
- Needle in a Haystack 把一個事實藏在 long context 不同位置、測試 LLM 能否抓出來的 benchmark 方法
- 4.11 Long context engineering 128K / 1M context 模型怎麼用：claimed vs effective context、lost-in-the-middle、context 設計策略、Long context vs RAG 取捨