01-PyTorch底层
第 8 题:解释PyTorch的torch.distributed中的DDP和FSDP的区别
题目
解释PyTorch的torch.distributed中的DDP和FSDP的区别
完整讲解
一、DDP(DistributedDataParallel)在做什么?
DDP 是数据并行:每张卡上有一份完整模型,每轮各卡用不同数据算 forward 和 backward;backward 结束后,各卡上的梯度要同步(通常 all-reduce),再在本卡用同一份梯度更新参数,所以每卡参数始终保持一致。显存占用 ≈ 单卡模型 + 单卡激活 + 梯度,模型必须能放进单卡。
二、FSDP(Fully Sharded Data Parallel)在做什么?
FSDP 是分片数据并行:把模型参数、梯度、有时还有优化器状态按卡分片,每张卡只存 1/N(N=卡数);forward 时用 all-gather 把当前层所需参数临时拼起来算,算完丢掉;backward 同样 all-gather → 算梯度 → reduce-scatter 把梯度按片回写。这样单卡显存 ≈ 1/N 模型 + 当前层激活,可以训「单卡放不下」的大模型。
三、核心区别对比
| 维度 | DDP | FSDP |
|---|---|---|
| 参数存储 | 每卡一份完整模型 | 每卡 1/N 参数(分片) |
| 梯度 | 每卡一份完整梯度,all-reduce | 分片,reduce-scatter 写回 |
| 优化器状态 | 每卡一份完整 | 可只存本卡分片(显存再省) |
| 单卡显存 | 约 1× 模型 + 激活 + 梯度 | 约 1/N 模型 + 激活(可训大模型) |
| 通信 | backward 后梯度 all-reduce | 每层 forward/backward 的 all-gather/reduce-scatter |
| 典型场景 | 模型能放进单卡、多卡加速 | 模型太大单卡放不下、大模型训练 |
四、为什么需要 FSDP?
当模型参数量大(如数十 B、上百 B),即使用上梯度 checkpoint,单卡也存不下「完整参数 + 梯度 + 优化器」。FSDP 用分片换通信:每次只 all-gather 当前层需要的参数,算完就丢,所以显存从「整模型」变成「1/N 模型 + 当前层激活」,能显著扩大可训模型规模;代价是每层多一次 all-gather/reduce-scatter,通信量比 DDP 的「一次梯度 all-reduce」大,需要好的通信和 overlap 设计。
五、面试可怎么说?
- DDP:每卡完整模型、不同数据、梯度 all-reduce 后一致更新;适合模型能塞进单卡、追求训练速度。
- FSDP:参数(及可选梯度/优化器)分片,按层 all-gather 算、reduce-scatter 回写;显存约 1/N,能训大模型;通信更复杂、每层有集合通信。
- 选型:单卡能放下用 DDP;放不下或要省显存用 FSDP(或与 ZeRO 等结合)。
面试要点
- DDP:完整模型每卡、数据并行、梯度 all-reduce;显存 ≈ 单卡模型+激活+梯度。
- FSDP:参数(及可选梯度和优化器)分片,forward/backward 时 all-gather 用、reduce-scatter 回;显存约 1/N,可训大模型;通信为每层 all-gather + reduce-scatter。
- 区别:存储方式(完整 vs 分片)、显存规模、通信模式与量。
记忆要点
- DDP = 数据并行 + 每卡完整模型 + 梯度 all-reduce;单卡能放下模型时用。
- FSDP = 参数分片 + 按层 all-gather/reduce-scatter;单卡放不下或要省显存时用。
- FSDP 显存约 1/N,通信量和次数比 DDP 多;两者可和 ZeRO、混合精度等组合用。