07-显存优化与Offload
07-显存优化与Offload(第 76–85 题)
| 题号 | 主题 | 文章 |
|---|---|---|
| 76 | ZeRO-Offload如何将optimizer state offlo… | 076-ZeRO-Offload如何将optimizer-state-offload.md |
| 77 | DeepSpeed-Infinity如何利用NVMe扩展显存? |
077-DeepSpeed-Infinity如何利用NVMe扩展显存.md |
| 78 | 激活检查点的checkpoint_sequential和`check… |
078-激活检查点的checkpoint_sequential和checkpoint.md |
| 79 | 显存碎片问题在分布式场景下更严重吗?如何解决? | 079-显存碎片问题在分布式场景下更严重吗.md |
| 80 | torch.cuda.empty_cache()的副作用?为什么不能… |
080-torch.cuda.empty_cache()的副作用.md |
| 81 | 如何估算大模型训练所需的显存?公式推导? | 081-如何估算大模型训练所需的显存.md |
| 82 | gradient checkpointing和`activation… |
082-gradient-checkpointing和activation-comp.md |
| 83 | CPU offload和GPU计算的流水线重叠如何实现? | 083-CPU-offload和GPU计算的流水线重叠如何实现.md |
| 84 | 多节点场景下的显存优化策略差异? | 084-多节点场景下的显存优化策略差异.md |
| 85 | 显存优化的ROI如何评估?训练速度vs模型规模的trade-off? | 085-显存优化的ROI如何评估.md |