LLM 生命周期可视化
只构建一次。推理在每个请求上运行。
生命周期
训练
推理
构建
数据
收集与预处理
→
训练
学习权重
→
评估
测试质量
→
运维
部署
打包并加载
→
推理
每个请求都运行
→
优化
批处理、缓存等
↻
线上使用情况与新鲜数据反馈到下一个构建周期
运行时机
构建一次,然后持续运维
衡量指标
构建时关注质量;生产中关注延迟与成本