离线批推理

离线批推理(offline batch inference)是在大型静态数据集上批量运行模型以生成预测的过程,而不是在实时(在线推理)中逐个处理。它被称为"离线",是因为它不以交互方式进行;相反,它是作为一个批量处理作业来完成的。

相比之下,在线推理(online inference)意味着模型按需生成预测(例如,当客户端发送请求时)。

离线批推理的主要好处:

• 预计算预测可降低实时系统的负载
• 使用更复杂的模型具有更大的灵活性,这些模型对于实时推理来说可能太慢了
• 支持在将预测投入生产之前进行后处理和验证

在以下情况下,你可能需要使用离线批推理:

• 你的数据不经常变化,因此不需要实时预测。
• 你有大型数据集需要处理,并且预测可以被存储并稍后复用。
• 你的模型太大或太慢,无法用于实时预测,但如果提前运行则没有问题。
• 你想在向用户提供预测之前对其进行验证或审查(例如,用于质量或合规检查)。