延迟指标实验台
模拟推理工作负载,查看延迟如何影响 TPOT 与基于 SLO 的有效吞吐率 (goodput)
单请求
TTFT
ms
E2EL
ms
E2EL 必须 ≥ TTFT
输出 token 数
Token 生成时间
2120
ms
E2EL − TTFT
TPOT
9.68
ms/tok
Token 生成时间 ÷ (N−1)
示例请求
请求
TTFT (ms)
E2EL (ms)
输出 token 数
TPOT (ms/tok)
SLO
+ 添加请求
SLO 约束:
TTFT ≤
ms
E2EL ≤
ms