"Aggregation"
- 時間觸發器:把 raw log 彙總成日報
用時間觸發器每天定時把原始瀏覽 log group 成日報,以及在 90 分鐘觸發配額下只讀增量的效率寫法
- 1.18 高頻計數的寫入與彙總:熱點列的鎖、只新增的事件、可以重跑的彙總與重送的事件
熱點列更新的吞吐量上限與它的成因、拆成多列/只新增事件/先在記憶體裡合併的差別、只新增事件搬去哪裡的成本、累加與重算在什麼條件下漏算或重複計算、讓彙總排程互斥的建議鎖與連線池的交互,以及重送事件的冪等寫入、推導事實的存放位置,以及 Redis 承擔即時計數、跨小時不重複數、去重與互斥時各自的邊界
- MongoDB Aggregation Pipeline Optimization:stage 順序、index 配合與 memory 邊界
MongoDB aggregation pipeline stage 順序、index 配合、100MB memory 邊界、cross-shard `$lookup` 限制;report dashboard 跑爆 primary 的 anti-pattern 治理路徑
- Lambda Architecture(批次層與即時層)
統計數字要即時看得到、又要能依原始事件重算成正確值時,查兩份計算各自負責哪一段時間、即時數字與報表對不上時以哪一份為準,以及即時層遺失資料的影響範圍