AI Infra 305
08-通信优化

08-通信优化(第 86–95 题)

题号 主题 文章
86 NCCL的Tree算法和Ring算法分别在什么场景下更快? 086-NCCL的Tree算法和Ring算法分别在什么场景下更快.md
87 如何计算all-reduce的通信量?公式是什么? 087-如何计算all-reduce的通信量.md
88 NVLink、InfiniBand、TCP的带宽和延迟差异? 088-NVLink、InfiniBand、TCP的带宽和延迟差异.md
89 多机训练中的网络拓扑感知?NCCL_TOPO_FILE? 089-多机训练中的网络拓扑感知.md
90 通信和计算重叠(overlap)的技术手段?`double buffer… 090-通信和计算重叠(overlap)的技术手段.md
91 torch.distributed的backend选择:`ncc… 091-torch.distributed的backend选择:nccl、gloo、.md
92 RDMA技术原理?RoCE v1 vs RoCE v2 vs `… 092-RDMA技术原理.md
93 如何诊断网络拥塞导致的训练卡顿?iftop、nicstat? 093-如何诊断网络拥塞导致的训练卡顿.md
94 自定义通信算子的实现?torch.distributed的`redu… 094-自定义通信算子的实现.md
95 异构网络环境下的通信优化策略? 095-异构网络环境下的通信优化策略.md

返回总览