06-模型并行与流水线
第 64 题:interleaved pipeline(如Megatron的1F1B)如何减少bubble?
题目
interleaved pipeline(如Megatron的1F1B)如何减少bubble?
完整讲解
一、Interleaved 的含义
Interleaved pipeline 把同一 stage 的多个子块(如同一 GPU 上的若干层)拆成多段,不同 micro-batch 在这些段之间「交错」执行,而不是一个 stage 连续跑完所有层再交给下一 stage。这样同一物理 stage 会轮流处理多个 micro-batch,管道更满,bubble 更少。
二、1F1B(One Forward One Backward)
Megatron 的 1F1B:每个 stage 按序执行「一个 micro-batch 的 forward → 一个 micro-batch 的 backward」,而不是「所有 micro-batch forward → 再全部 backward」。这样管道中同时存在不同 micro-batch 的 F 和 B,空闲 slot 减少。与 GPipe 的 G-MB 相比,在相同 (M、S) 下 bubble 比例更低。
三、Interleaved 1F1B 的进一步优化
Interleaved 1F1B:在 1F1B 基础上,把每个 stage 的层再分成若干「子 stage」,调度时让不同 micro-batch 交错经过这些子 stage。效果是同一设备上多个子块轮流工作,bubble 可进一步下降(理想情况可逼近 (O(1/S)) 量级)。代价是调度与依赖更复杂,需保证同一 micro-batch 的 F/B 顺序正确。
面试要点
- Interleaved:同一 stage 内多子块,micro-batch 交错经过,管道更满、bubble 更小。
- 1F1B:每 stage 做「一 F 一 B」交替,相比全 F 再全 B 减少空闲。
- Interleaved 1F1B 结合两者,bubble 可进一步降低,实现与调度更复杂。
记忆要点
- 1F1B = 每 stage 一 forward 一 backward 交替,减 bubble。
- Interleaved = stage 内多子块、micro-batch 交错,提高利用率。
- Megatron 的 interleaved 1F1B 是常用生产配置。