13-存储与IO
第 167 题:DALI(NVIDIA Data Loading Library)的使用场景?
题目
DALI(NVIDIA Data Loading Library)的使用场景?
完整讲解
一、DALI 是什么
NVIDIA DALI(Data Loading Library):在 GPU 上做数据解码与预处理(解码、resize、crop、normalize 等),数据从存储或 CPU 进入后由 DALI pipeline 在 GPU 上完成解码与 augments,输出 GPU tensor 直接供训练,减少 CPU-GPU 拷贝与 CPU 瓶颈,并可与训练计算流水线重叠。
二、使用场景
图像/视频训练:解码(JPEG、视频帧)、resize、crop、flip、normalize 等放在 GPU,CPU 只做 IO 或轻量调度;适合 CV 与多模态里解码重的场景。高吞吐需求:当 DataLoader 的 CPU 解码成为瓶颈、GPU 利用率上不去时,用 DALI 把解码迁到 GPU 或专用线程,提高吞吐。多模态与复杂 augment:DALI 支持多种 op 与组合,可在同一 pipeline 里做图像+文本的预处理。不适合:纯文本、或数据已预处理好只需简单 tensor 化时,DALI 收益有限且增加依赖;小数据集或 IO 非瓶颈时不必上 DALI。
三、工程要点
DALI 与 PyTorch/TF 通过 iterator 或 DataLoader 适配器对接;需保证 GPU 显存能同时容纳 DALI buffer 与模型;调试时先确认 CPU 解码确实是瓶颈再引入 DALI。
面试要点
- DALI = GPU 上解码与预处理,减少 CPU 瓶颈与 CPU-GPU 拷贝,可与训练计算重叠。
- 场景:图像/视频解码重、高吞吐 CV、多模态预处理;纯文本或已预处理好则收益小。
- 与框架通过 iterator/DataLoader 对接;注意显存;先确认瓶颈再引入。
记忆要点
- DALI = GPU 解码与预处理;减 CPU 瓶颈、增吞吐。
- 适合解码重的 CV/多模态;不适合纯文本或非瓶颈。
- 对接 PyTorch/TF;显存与瓶颈确认。