15-性能分析工具
第 181 题:nvidia-smi的dmon、pmon模式区别?
题目
nvidia-smi的dmon、pmon模式区别?
完整讲解
一、dmon 模式
nvidia-smi dmon:持续监控模式,按固定间隔(如每秒)采样并输出 GPU 的 utilization(sm、mem)、功耗、温度 等到终端或日志。常用:nvidia-smi dmon -s u -c 10 表示采 utilization、共 10 次。适合观察一段时间内的波动(如训练时 GPU 是否周期性掉下去、是否在等数据),或脚本化采集做简单监控。
二、pmon 模式
nvidia-smi pmon:按 进程 维度显示 GPU 使用,输出每个进程的 PID、进程名、对应 GPU、显存占用、计算占用 等。适合看「哪几个进程在用哪块卡、各占多少」,用于排查多进程争卡、显存泄漏、混部时的占用归属。采样也是周期性的,可加 -c N 控制次数。
三、区别与使用场景
dmon:以 GPU 为维度,看整卡利用率和状态,适合看负载与瓶颈(如 GPU 是否跑满、是否在等 CPU)。pmon:以 进程为维度,看谁在用卡、用多少,适合多任务/多用户时的归属与隔离排查。二者可结合:先用 dmon 看卡是否忙,再用 pmon 看是哪些进程在占用。
面试要点
- dmon:按 GPU 维度持续采样利用率、显存、功耗等;看整卡负载与时间序列。
- pmon:按进程维度显示每进程占用的 GPU 与显存/算力;看谁在用哪块卡。
- dmon 看瓶颈与波动,pmon 看归属与多进程;可配合使用。
记忆要点
- dmon = GPU 维度、持续采样;pmon = 进程维度、谁在用卡。
- dmon 适合看利用率曲线与瓶颈;pmon 适合多进程/多用户排查。
- 常用:dmon -s u -c N;pmon -c N。