Tarragon

"Optimizer"

• 2026-05-12 Adam / AdamW 對每個參數自適應 learning rate 的 optimizer、LLM 訓練主流選擇
• 2026-05-12 SGD Stochastic Gradient Descent：每次用 mini-batch 算 gradient 更新權重的基礎 optimizer