01-PyTorch底层
01-PyTorch底层(第 1–15 题)
| 题号 | 主题 | 文章 |
|---|---|---|
| 1 | PyTorch的Autograd机制是如何实现的?解释`torch.au… | 001-PyTorch的Autograd机制是如何实现的.md |
| 2 | torch.nn.Module的__call__和`forwar… |
002-torch.nn.Module的__call__和forward有什么区别.md |
| 3 | PyTorch的Dispatch机制是什么?ATen、c10、`… |
003-PyTorch的Dispatch机制是什么.md |
| 4 | 如何实现一个自定义的CUDA算子并在PyTorch中调用?详细步骤是什么… | 004-如何实现一个自定义的CUDA算子并在PyTorch中调用.md |
| 5 | PyTorch的内存池管理(Caching Allocator)策略是什… | 005-PyTorch的内存池管理(Caching-Allocator)策略是什么.md |
| 6 | torch.jit.trace和torch.jit.script… |
006-torch.jit.trace和torch.jit.script的区别.md |
| 7 | PyTorch的DataLoader中num_workers设置… |
007-PyTorch的DataLoader中num_workers设置多少合适.md |
| 8 | 解释PyTorch的torch.distributed中的DDP… |
008-解释PyTorch的torch.distributed中的DDP和FSDP的.md |
| 9 | PyTorch 2.0的torch.compile背后的技术栈是什么… |
009-PyTorch-2.0的torch.compile背后的技术栈是什么.md |
| 10 | 如何调试PyTorch的CUDA kernel launch失败?`CU… | 010-如何调试PyTorch的CUDA-kernel-launch失败.md |
| 11 | PyTorch的hook机制有哪些?`forward_pre_hoo… |
011-PyTorch的hook机制有哪些.md |
| 12 | 如何实现模型的量化感知训练(QAT)?`torch.ao.quantiz… | 012-如何实现模型的量化感知训练(QAT).md |
| 13 | PyTorch的checkpoint机制(梯度检查点)如何节省显存?… |
013-PyTorch的checkpoint机制(梯度检查点)如何节省显存.md |
| 14 | 解释torch.cuda.amp的自动混合精度训练,什么情况下`Gr… |
014-解释torch.cuda.amp的自动混合精度训练,什么情况下GradSca.md |
| 15 | 如何profile PyTorch模型的性能?`torch.profil… | 015-如何profile-PyTorch模型的性能.md |