11-服务化与调度
第 133 题:推理服务的A/B testing如何实现?模型版本管理?
题目
推理服务的A/B testing如何实现?模型版本管理?
完整讲解
一、A/B Testing 实现思路
A/B testing:将流量按比例分到不同模型版本(如 A 90%、B 10%),比较延迟、准确率、业务指标。实现方式:(1)网关/负载均衡层:按请求头、用户 ID 哈希或随机数把请求路由到不同后端或同一后端的不同模型版本;(2)推理服务自身:同一 endpoint 支持多版本,由请求参数或 header 指定版本,内部路由到对应 model instance;(3)流量镜像:主流量走 A,复制一部分到 B 做影子测试,对比结果。需保证同一用户或 session 尽量稳定在同一版本(一致性),并打日志/打点做指标对比。
二、模型版本管理
版本管理:模型文件按版本号或标签组织(如 model_v1/、model_v2/),部署时通过 Triton 的 model_version_policy、K8s 的 deployment 标签、或配置中心指定当前生效版本。支持多版本并存:新旧版本同时加载,通过路由做灰度或 A/B;支持回滚:切回上一版本配置并重载。版本与配置(batch、instance 数等)一起管理,便于复现与审计。
三、工程要点
版本命名建议语义化或带时间戳;CI/CD 产出物与版本绑定;A/B 的流量比例与周期可配置,结果用统一监控与实验平台分析。
面试要点
- A/B 实现:网关/负载均衡按比例或哈希路由到不同版本;或推理服务内按 header/参数选版本;可加流量镜像做影子测试。
- 版本管理:模型按版本目录或标签部署;多版本并存、路由灰度;支持回滚与配置绑定。
- 同一用户/session 尽量同版本;打点与监控做指标对比。
记忆要点
- A/B = 流量按比例路由到不同模型版本;网关或服务内路由,可加镜像。
- 版本管理 = 多版本并存、路由/灰度、回滚;配置与版本绑定。
- 一致性(同用户同版本)、打点与监控必备。