18-推理平台设计
第 241 题:推理服务的A/B testing和canary deployment?
题目
推理服务的A/B testing和canary deployment?
完整讲解
一、A/B testing
A/B 测试:流量按比例 分到 多版本(如模型 A vs 模型 B、或同一模型不同参数),收集 延迟、准确率、业务指标,统计比较 后决定是否全量切到某版本。实现:路由层 按 user_id、request_id 哈希或随机将请求分到 variant A/B;指标 带 variant 标签上报;分析 看 A/B 的 P99、准确率、转化等差异。
二、Canary deployment
Canary:新版本先上少量流量(如 5%),观察 错误率、延迟 无异常后再 逐步放量 至全量;若有问题则 回滚。实现:路由/网关 按 权重(如 95% 老版本、5% 新版本)或 按用户/地域 切流量;监控 新版本实例的指标;自动或人工 判断是否继续放量或回滚。与 A/B 区别:Canary 侧重 稳妥发布;A/B 侧重 效果对比。可结合:先 canary 放量,再 A/B 对比新旧模型效果。
三、与推理平台集成
模型版本 与 路由规则 绑定(如 10% 流量到 v2);平台 提供 流量比例配置、指标按版本聚合、回滚接口。金丝雀 可配 自动回滚(错误率或延迟超阈值即回滚);A/B 需 统计显著性 与业务决策后再全量。
面试要点
- A/B testing:流量分多版本、收集指标、统计比较后决策;路由按 user/request 分 variant。
- Canary:新版本少量流量、观察无异常后放量;有问题回滚;路由按权重或用户。
- 平台:版本与路由绑定、比例配置、按版本聚合指标、回滚与自动回滚。
记忆要点
- A/B = 多版本对比、统计决策;Canary = 少量流量、逐步放量、可回滚。
- 路由分流量;指标带版本;Canary 可自动回滚。
- 可结合:canary 发布 + A/B 效果对比。