本地部署(on-prem)LLM 部署

本地部署(on-prem)LLM 部署是需要在数据、基础设施和成本上获得更严格控制的团队的热门选择。与无服务器推理 API 不同,你拥有完整的技术栈,从 GPU 和网络到扩展和监控。企业通常采用这种模式部署在私有数据中心或物理断网(air-gapped)环境中,通常使用开源模型。

这种自由带来了优势,但也带来了严峻的工程挑战。

为什么团队选择本地部署 LLM

AI 团队通常出于以下原因转向本地部署:

数据安全与合规性:所有推理都在你的基础设施内运行。这降低了敏感信息离开你环境的风险。它还有助于你满足医疗、金融和政府等行业严格的监管要求。
可预测的成本:在初始硬件投资之后,持续的推理成本可能低于按使用量计费的无服务器 API。然而,你可能需要应用某些推理优化技术,如 KV 缓存卸载和前缀缓存,以保持在预算之内。
性能控制:你可以直接为你的延迟、吞吐量和扩展目标调优推理性能,而不受提供商 SLA 的限制。这对于高流量或对延迟敏感的应用极其有用。
更少的外部依赖:由于一切都发生在你自己的网络内,你不必依赖外部提供商。这让你能够实施自定义安全措施,如身份验证、访问控制和审计。这最大限度地减少了外部威胁的暴露。

实际上,本地部署 LLM 在以下情况下最有意义:

否则,混合或基于云的部署可能是开销更少的更好选择。

本地解决方案很灵活,但同时也意味着沉重的责任。只有当好处明显超过开销时,它们才值得。

以下是一些主要挑战:

高昂的前期成本:GPU、网络设备和存储需要大量的资本投资,而且硬件更新换代周期昂贵。
运维复杂性:你需要自己负责自动扩展、升级、监控和 GPU 采购。
迭代速度较慢:前沿模型、推理框架和优化技术不断涌现。当你拥有过时的硬件或缓慢的采购流程时,很难跟上。此外,兼容性并不总是有保证。工程师花在基础设施上的时间越多,创新和上市速度就越慢。
GPU 可用性:即使拥有自有基础设施,GPU 也不总是可用,尤其是在使用高峰期。为了支持扩展,你需要采购额外的 GPU 并部署它们,这可能需要数周或数月。
人才需求:要高效运营一个生产级推理栈,工程师需要跨越 DevOps、InferenceOps 和 MLOps 的专门技能。这种专业知识很难招聘,而且通常比一般的工程人才更昂贵。

关于本地部署是否"优于"云端,没有放之四海而皆准的答案。每个选项适合不同的优先级。

项目	本地部署 LLM	云端 LLM
数据安全与合规性	数据留在你的基础设施内;更容易满足严格合规	数据由第三方提供商处理;可能需要额外的合规工作
成本模式	前期硬件投资高;稳定流量的边际成本更低	按使用量付费;适合突发性或不可预测的工作负载
性能控制	完全控制延迟、吞吐量和扩展行为	受提供商 SLA 和共享基础设施限制
可扩展性	受已购硬件限制;LLM 的快速自动扩展需要额外的设置和配置	几乎无限,可按需访问 GPU;然而,你可能还需要额外调优以加快 LLM 的冷启动
维护与运营	需要专门团队负责基础设施、LLM 特定可观测性和更新	设置更快,但仍需要一些基础设施管理;BYOC 将部分负担转嫁给服务提供商
灵活性	最适合长期、稳定的工作负载	最适合快速试验和动态工作负载

这个决定通常取决于合规要求、流量模式,以及你的团队愿意承担多少运维复杂性。