11-服务化与调度
第 144 题:推理服务的cost optimization策略?Spot instance的使用?
题目
推理服务的cost optimization策略?Spot instance的使用?
完整讲解
一、Cost Optimization 思路
推理成本 = 算力(GPU/CPU)× 时长 + 存储与网络。优化方向:提高利用率(批处理、弹性伸缩、混部)、选用更便宜算力(Spot/抢占式实例、自建与云结合)、模型与推理优化(量化、剪枝、小模型)减少单请求算力与时长、按需伸缩避免常驻大容量。
二、Spot Instance 的使用
Spot(抢占式)实例:价格低但可能被回收,适合可中断、可恢复的负载。推理场景:批处理/离线推理可用 Spot 大幅降本;在线推理若要求高可用则需策略:如用 Spot 做弹性扩容、与 on-demand 混用(基线 on-demand,峰值 Spot),或多可用区/多实例冗余,单点被回收时流量切到其它实例。可配合 K8s 的 spot 节点池、中断通知与 Pod 迁移,尽量在回收前排空或迁移请求。
三、其它策略
预留实例/节省计划包年降单价;自动伸缩按 QPS 或队列深度扩缩容;多模型共享 GPU(MIG、多实例);监控单请求成本与利用率,持续优化。
面试要点
- 成本优化:提利用率(批处理、弹性、混部)、便宜算力(Spot)、模型与推理优化、按需伸缩。
- Spot:低价可回收;适合批处理/离线;在线需混用 on-demand 或多实例冗余,配合中断通知与迁移。
- 预留/节省计划、自动伸缩、多模型共享 GPU、单请求成本监控。
记忆要点
- 成本 = 算力×时长+存储;优化 = 利用率+算力选型+模型优化+伸缩。
- Spot = 低价可回收;批处理用 Spot;在线可 Spot 弹性+on-demand 基线。
- 预留、伸缩、共享、监控单请求成本。