Throughput
Throughput
Throughput 的核心概念是「系統在一段時間內完成多少工作」。它和 latency 不同,throughput 看總量與持續處理能力,latency 看單次完成時間。 可先對照 Thundering Herd。
概念位置
Throughput 位在容量、排程與流量控制的交界。queue、broker、stream、load test 與 partitioning 都會直接影響 throughput。 可先對照 Thundering Herd。
可觀察訊號
系統需要 throughput 指標的訊號包括:queue lag 上升、consumer 跟不上 producer、load test 失敗、CPU 或 I/O 長期飽和。
接近真實網路服務的例子
checkout 每分鐘要處理多少訂單、consumer group 每秒可消化多少事件、load balancer 後面每個 instance 的穩定處理量,都是 throughput 問題。
設計責任
Throughput 設計要定義測量單位、瓶頸位置、單節點與整體容量、以及在哪些條件下需要 backpressure、rate limit 或 scale out。