05-数据并行
第 60 题:如何实现自定义的分布式优化器?继承torch.optim.Optimizer的注意事项?
题目
如何实现自定义的分布式优化器?继承torch.optim.Optimizer的注意事项?
完整讲解
一、继承 Optimizer 要做什么?
torch.optim.Optimizer 要求子类:
- 在
__init__里调super().__init__(params, defaults),并保存self.param_groups(及每个 group 的 param 列表和超参)。 - 实现
step(closure=None):遍历self.param_groups里每个param,用其param.grad按你的算法更新param.data;若支持 closure(如 LBFGS),可执行 closure 再更新。 - 不在 step 里默认调
zero_grad();由用户在 backward 后、step 前自己调,或你在 step 里可选地调。
分布式下:梯度通常已由 DDP/FSDP 等做 all-reduce,每个 rank 上的 param.grad 已是「全局梯度」;自定义优化器只需在 本 rank 上按梯度更新本 rank 的参数(FSDP 下参数是分片的,每卡只更新自己的分片)。所以「分布式」部分多数由 DDP/FSDP 解决,优化器侧主要是正确读 grad、写 data。
二、注意事项
- 状态与分片:若优化器有状态(如 Adam 的 m、v),在 FSDP 下状态也应按分片存:每卡只存本卡参数分片对应的状态;all-gather 参数时不同步状态(状态随分片走)。若用 DDP,每卡完整参数,状态也完整,与单机一致。
- 设备与 dtype:
param.data和param.grad的 device/dtype 要一致;混合精度时 grad 可能是 fp16,若优化器用 fp32 状态,要转成 fp32 再更、写回时再转(或用 master weight)。 - 梯度是否为 None:若某 param 未参与计算(如 find_unused_parameters),grad 可能为 None;step 里要 skip 这类 param,不要用 None 做运算。
- closure:若实现
step(closure),应先执行closure()再更新,并返回 closure 的返回值(若需要);多数优化器 closure 可为 None。 - 与 DDP/FSDP 顺序:先
backward()(DDP 会 all-reduce),再optimizer.step();若用 AMP,先scaler.unscale_(optimizer)、检查 inf/nan,再optimizer.step()、scaler.update()。
三、小结
- 子类实现
__init__(params, defaults)和step();step 里遍历 param_groups、用 grad 更新 data。 - 分布式:梯度已由 DDP/FSDP 同步,优化器只做本地更新;FSDP 下状态要随分片、只更新本卡分片。
- 注意:grad 为 None 时 skip、设备与 dtype、与 AMP 的配合顺序。
面试要点
- 继承 Optimizer:init 调 super、保存 param_groups;step 里遍历 params、用 grad 更新 data。
- 分布式:梯度已 all-reduce,优化器只做本地更新;FSDP 下状态随分片。
- 注意:None grad 要 skip、设备/dtype、AMP 时 unscale 再 step。
记忆要点
- 必须:super().init、实现 step;step 里用 param.grad 更新 param.data。
- 分布式由 DDP/FSDP 管梯度;优化器管本地更新;FSDP 状态随分片。
- 处理 None grad、设备/dtype、与 scaler 顺序。