时延时间线可视化
点击播放,观察每个解码步骤如何通过反 token 化输出 token。选择指标查看它覆盖了哪些阶段。
6 个输出 token
首 token 延迟 207 ms
从提交提示词到显示第一个 token
分词 + 预填充 + 解码 + 反 token 化 = 3 + 180 + 22 + 2
0 ms · 0/6 个 token 输出将出现在此处…
分词化 预填充 解码 反 token 化
假设 Tokenization = 3 ms,Prefill = 180 ms,Decode = 22 ms,Detokenization = 2 ms,各解码步骤 ITL 恒定。实际数值会随模型、硬件和序列长度而变化。