11-服务化与调度
第 131 题:Triton Inference Server的model ensemble如何使用?
题目
Triton Inference Server的model ensemble如何使用?
完整讲解
一、Model Ensemble 是什么
Triton 的 model ensemble 把多个模型(或同一模型不同阶段)组成一个推理流水线:请求依次经过 A→B→C,前一个模型的输出作为后一个的输入,在 server 内部完成多步推理,对客户端暴露为一个模型接口。典型用途:预处理模型 + 主模型、主模型 + 后处理/重排序、多阶段检索+生成等。
二、如何使用
在 config.pbtxt 中定义 ensemble_scheduling 类型的模型,在 ensemble_scheduling 里声明 step 列表:每个 step 指定用哪个模型、输入来自上一 step 的哪几个输出、输出名到下一 step 的映射。输入/输出名需与各子模型的 config 一致。部署时各子模型需先单独加载(或作为 dependency 声明);请求发往 ensemble 模型名,Triton 按 step 顺序调度、在 GPU/CPU 间传递中间 tensor。
三、注意点
Step 间数据在进程内传递,避免网络往返;可配置各 step 的 instance 数与设备。调试时先确保各子模型单独可调通,再组 ensemble;版本更新时需保证各子模型版本兼容(输入输出 shape/名一致)。
面试要点
- Ensemble = 多模型组成流水线 A→B→C,对客户端暴露为一个模型;用于预处理+主模型、多阶段生成等。
- 使用:config 里定义 ensemble 模型、声明 step 与各 step 的 model、输入输出映射;子模型先部署,请求发往 ensemble 名。
- 数据在进程内传递;注意子模型输入输出名与 shape 一致、版本兼容。
记忆要点
- Ensemble = 多模型流水线,一步推理多阶段,对外一个接口。
- 配置 = ensemble 类型 + step 列表(model、输入输出映射);子模型先加载。
- 进程内传中间结果;部署时保证各子模型 config 与版本兼容。