量化显存影响(仅权重)
比较不同量化格式下模型权重的显存占用
快速预设:
模型参数
参数(十亿)
注意:
此处显示的显存仅涵盖模型权重。实际使用量可能远高于此,因为还包含 KV 缓存、激活值与框架开销
各格式的权重显存
显存
质量影响