16-优化技术
16-优化技术(第 196–215 题)
| 题号 | 主题 | 文章 |
|---|---|---|
| 196 | FlashAttention的IO-aware优化原理?`til… |
196-FlashAttention的IO-aware优化原理.md |
| 197 | FlashAttention-2和FlashAttention的… |
197-FlashAttention-2和FlashAttention的改进点.md |
| 198 | xFormers的`memory_efficient_attenti… |
198-xFormers的memory_efficient_attention使用.md |
| 199 | cuDNN的fused attention如何调用? |
199-cuDNN的fused-attention如何调用.md |
| 200 | 算子融合的边界判断?融合后register pressure过高? | 200-算子融合的边界判断.md |
| 201 | 内存带宽bound vs 计算bound的判断?`arithmetic … | 201-内存带宽bound-vs-计算bound的判断.md |
| 202 | kernel fusion的手动实现 vs 编译器自动生成? |
202-kernel-fusion的手动实现-vs-编译器自动生成.md |
| 203 | CUDA Graph的捕获和重放?`torch.cuda.make_… |
203-CUDA-Graph的捕获和重放.md |
| 204 | 动态shape的优化困境?torch.compile的`dynami… |
204-动态shape的优化困境.md |
| 205 | torch.backends.cudnn.benchmark的作用和… |
205-torch.backends.cudnn.benchmark的作用和副作用.md |
| 206 | CPU offload的pin_memory和`non_blocki… |
206-CPU-offload的pin_memory和non_blocking.md |
| 207 | 数据预处理的multi-processing优化?`num_work… |
207-数据预处理的multi-processing优化.md |
| 208 | DALI的GPU decoding和augmentation… |
208-DALI的GPU-decoding和augmentation.md |
| 209 | 混合精度训练的numerical stability问题? |
209-混合精度训练的numerical-stability问题.md |
| 210 | gradient accumulation的`effective b… |
210-gradient-accumulation的effective-batch-.md |
| 211 | 大batch训练的learning rate scaling规则? |
211-大batch训练的learning-rate-scaling规则.md |
| 212 | LARS、LAMB优化器在大batch场景的应用? |
212-LARS、LAMB优化器在大batch场景的应用.md |
| 213 | 模型并行的communication hiding技术? |
213-模型并行的communication-hiding技术.md |
| 214 | pipeline bubble的数学分析和优化? |
214-pipeline-bubble的数学分析和优化.md |
| 215 | 稀疏attention的优化?Sparse Transformer、… |
215-稀疏attention的优化.md |