GPU 相关命令和排查思路

2022-06-21 | 0 浏览

GPU相关命令和排查思路

1.GPU相关命令

1.查看GPU驱动

# nvcc -V

2.查看GPU设备

# lspci | grep -i nvidia

3.查看GPU整体信息

# nvidia-smi
Fan：显示风扇转速，数值在0到100%之间，是计算机的期望转速，如果计算机不是通过风扇冷却或者风扇坏了，显示出来就是N/A；
Temp：显卡内部的温度，单位是摄氏度；
Perf：表征性能状态，从P0到P12，P0表示最大性能，P12表示状态最小性能；
Pwr：能耗表示；
Bus-Id：涉及GPU总线的相关信息；
Disp.A：是Display Active的意思，表示GPU的显示是否初始化；
Memory Usage：显存的使用率；
Volatile GPU-Util：浮动的GPU利用率；
Compute M：计算模式；

4.周期性的输出显卡的使用情况

# watch -n 5 nvidia-smi

5.以1秒的更新间隔监控GPU的总体使用情况

# nvidia-smi dmon

6.以1秒的更新间隔监视每个进程的GPU使用情况

# nvidia-smi pmon

2.GPU管理命令

1.列出所有可用的Nvidia设备
# nvidia-smi -L
2.列出每个GPU卡的详细信息
# nvidia-smi --query-gpu=index,name,uuid,serial --format=csv
3.查询某个GPU卡的详细信息（指定GPU卡的id）
# nvidia-smi -i 0 -q
4.加上-e参数可以切换ECC支持：0/禁用，1/启用
# nvidia-smi -e 1
5.加上-r参数可以重启某个GPU卡（0是GPU卡的序号）
# nvidia-smi -r -I 0
.

3.排查思路

1.查看GPU驱动是否有

2.查看PCI设备是否在

3.虚拟机重新绑卡测试是否正常

4.重新安装GPU驱动

Linux