19-CPP与CUDA编程
第 264 题:多GPU的peer-to-peer访问?cudaDeviceEnablePeerAccess?
题目
多GPU的peer-to-peer访问?cudaDeviceEnablePeerAccess?
完整讲解
一、P2P 概念
Peer-to-Peer(P2P) 指多 GPU 间直接访问对方显存,不经过 host。在支持 P2P 的拓扑下(如同一 PCIe 树、NVLink),可降低延迟、提高带宽,用于多卡 kernel 间直接读写。
二、cudaDeviceEnablePeerAccess
cudaDeviceEnablePeerAccess(peerDeviceId, flags) 使当前 device 能访问 peerDeviceId 的显存。需在两端都启用(A 能访问 B、B 能访问 A 需各调一次)。返回 cudaErrorPeerAccessAlreadyEnabled 表示已开。配合 cudaMemcpyPeer(dst, dstDev, src, srcDev, size) 做 D2D 拷贝。
三、条件与注意
拓扑需支持(同机多卡通常支持;跨机不行)。可先 cudaDeviceCanAccessPeer(&can, dev, peer) 查询。P2P 打开后,分配在 peer 上的指针可在本 device kernel 中通过统一地址或 Peer 接口使用(视驱动与 UVA 而定)。
面试要点
- P2P = 多 GPU 直接访问对方显存,不经过 host;同机/同 PCIe 树常支持。
- cudaDeviceEnablePeerAccess(peerId, 0) 使当前 device 能访问 peer;双向需各调一次。
- cudaMemcpyPeer 做 D2D;先 cudaDeviceCanAccessPeer 查询是否支持。
- 用于多卡间低延迟、高带宽数据交换。
记忆要点
- P2P = GPU 直接访问 GPU 显存;cudaDeviceEnablePeerAccess 开启。
- 双向访问需各自 Enable;cudaMemcpyPeer 做 D2D。
- 需拓扑支持;cudaDeviceCanAccessPeer 查询。