分块预填充调度器
当 A 和 B 正在解码时,C 带着长提示词到达。观察调度器如何把 C 的预填充安排进同一 GPU 时间线。
C 的提示词
分块大小
预填充
解码
阻塞
时间 →