Gpu资源测试通用报告

一、通用计算性能测试

1.测试目的

• 验证 CUDA ⼯具包是否可以正确安装和配置

• 检查 CUDA 可以访 问的 GPU 设备的数量

• 计算能⼒、核⼼数量、内存带宽等硬件规格信息，以及它们是否能正常⼯作，确保系统硬件配置的稳定性

2.环境配置

• NVIDIA A100-SXM4-40GB *8

• NVIDIA 驱动 535.129.03

• CUDA 11.8

• nvidia-fabricmanager服务

3.测试工具

deviceQuery,cuda ⼯具包中 samples/1_Utilities/deviceQuery

项目主页NVIDIA/cuda-samples: Samples for CUDA Developers which demonstrates features in CUDA Toolkit (github.com)

4.测试过程

# 下载samples项目
git clone https://github.moeyy.xyz/https://github.com/NVIDIA/cuda-samples.git
# 编译deviceQuery
cd cuda-samples/Samples/1_Utilities/deviceQuery && make
# 执行deviceQuery
./deviceQuery

5.测试结果

6.测试结论

当前环境，NVIDIA驱动、CUDA工具包、nvlink服务均已正常安装和配置，系统硬件配置稳定

二、GPU显存带宽测试

1.测试目的

测试主机到GPU设备、GPU设备到主机、以及设备到设备之间的数据传输速度，可用于评估GPU设备与主机之间的带宽，以及用于优化GPU计算应用程序的数据传输性能

2.环境配置

• 显卡规格：NVIDIA A100-SXM4-40GB *8
• CUDA版本：11.7
• NVIDIA驱动版本：525.125.06
• nvidia-fabricmanager服务

3.测试工具

NVIDIA官方提供的命令行工具bandwidthTest

4.测试过程

cd cuda-samples/Samples/1_Utilities/bandwidthTest/
make
./bandwidthTest

5.测试结果

测试主机到设备、设备到主机、设备到设备的带宽峰值值如上表所示，一般以 GB/s 为单位，该值越高则说明设备和主机之间的数据传输速度越快，系统整体带宽性能越好。其中设备到设备的速度测试实际测试内容为当前GPU的显存性能。

6.测试结论

数据传输的大小32000000 Bytes， A100 GPU主机到设备，设备到主机，设备与设备的显存带宽均低于理论封值，主机到设备、设备到主机影响参数太多，没有理论峰值速度。其中设备到设备的带宽A100 40GB SXM4显卡的理论显存带宽为1555 GB/s，实际测试仅有1154.8GB/s,设备到设备数据传输速度比官方理论峰值低25.79%。（实际带宽会受到多种因素的影响，比如说系统架构和配置、数据传输类型、驱动程序和其他软件等，所以实际带宽都会低于理论峰值）

三、GPU之间的P2P带宽和延迟测试

1.测试目的

评估两个GPU之间的连接性能，包括带宽和延迟，从而评估GPU之间的数据传输性能。在多GPU并行计算中，GPU之间的高速数据传输是保证计算性能的重要因素，因此评估GPU之间连接性能是非常重要的。

测试子项说明：

2.环境配置

• 显卡规格：NVIDIA A100-SXM4-40GB *8
• CUDA版本：11.7
• NVIDIA驱动版本：525.125.06
• nvidia-fabricmanager服务

3.测试工具

NVIDIA官方提供的命令行工具p2pBandwidthLatencyTest

4.测试过程

cd cuda-samples/Samples/5_Domain_Specific/p2pBandwidthLatencyTest
make
./p2pBandwidthLatencyTest

5.测试结果

(1)P2P Connectivity Matrix

(2)Unidirectional P2P=Disabled Bandwidth Matrix (GB/s)

(3)Unidirectional P2P=Enabled Bandwidth (P2P Writes) Matrix (GB/s)

2个GPU间单向带宽是270GB左右

(4)Bidirectional P2P=Disabled Bandwidth Matrix (GB/s)

(5)Bidirectional P2P=Enabled Bandwidth Matrix (GB/s)

2个GPU间双向带宽400GB左右

(6)P2P=Disabled Latency Matrix (us)

(7)P2P=Enabled Latency (P2P Writes) Matrix (us)

p2pBandwidthLatencyTest测试结果主要包括两个指标：带宽和延迟。带宽是指两个GPU之间传输数据的速度，一般用GB/s作为单位。p2pBandwidthLatencyTest测试结果中，带宽值越高表示两个GPU之间传输数据的速度越快，性能越好。一般来说，如果两个GPU连接到同一个根节点，则带宽会比连接到不同根节点的GPU之间的带宽要快。延迟是指两个GPU数据传输所需要的时间，一般用us作为单位。p2pBandwidthLatencyTest测试结果中，延迟值越低表示数据传输所需要的时间越短，性能越好。一般来说，如果两个GPU连接到同一个根节点，则延迟会比连接到不同节点的GPU之间的延迟要低。

6.测试结论

GPU A100 各卡间通信正常，带宽比理论值低32.34%，卡间延迟无异常

四、浮点计算性能测试

1.测试目的

浮点运算实际性能

2.环境配置

• 显卡规格：NVIDIA A100-SXM4-40GB *8
• CUDA版本：11.8
• NVIDIA驱动版本：525.125.06
• nvidia-fabricmanager服务
• pyTorch

3.测试工具

• 方法一：NVIDIA官方的GEMM(General matrix multiplication)工具
• 方法二：PyTorch 提供的 Benchmark

4.测试过程

测试前将GPU时钟频率调整到此GPU所支持的最大频率

查看GPU所支持的最大时钟频率

nvidia-smi -q -d clock

设置GPU应用程序时钟频率 , 语法 nvidia-smi -ac <MEM clock, Graphics clock>

nvidia-smi -lgc 1215,1440

PyTorch方法

测试代码 flops.py

import torch
from torch.utils import benchmark

typ = torch.float16
n = 1024 * 16
a = torch.randn(n, n).type(typ).cuda()
b = torch.randn(n, n).type(typ).cuda()

t = benchmark.Timer(
      stmt='a @ b',
      globals={'a': a, 'b': b})

x = t.timeit(50)
print('float16 ,',2*n**3 / x.median /1e12)


typ = torch.float32
n = 1024 * 16
a = torch.randn(n, n).type(typ).cuda()
b = torch.randn(n, n).type(typ).cuda()

t = benchmark.Timer(
              stmt='a @ b',
                    globals={'a': a, 'b': b})

x = t.timeit(50)
print('float32 ,',2*n**3 / x.median /1e12)


typ = torch.float64
n = 1024 * 16
a = torch.randn(n, n).type(typ).cuda()
b = torch.randn(n, n).type(typ).cuda()

t = benchmark.Timer(
              stmt='a @ b',
                    globals={'a': a, 'b': b})

x = t.timeit(50)
print('float64 ,',2*n**3 / x.median /1e12)

gemm方法

#gemm程序需要更高版本的glibcxx,我们用cuda里自带的
export LD_LIBRARY_PATH=/usr/local/cuda-11.8/nsight-compute-2022.3.0/host/linux-desktop-glibc_2_11_3-x64:$LD_LIBRARY_PATH
#INT 8:
./cublasMatmulBench -P=bisb_imma -m=8192 -n=3456 -k=16384 -T=1000 -ta=1 -B=0
#FP16：
./cublasMatmulBench -P=hsh -m=12288 -n=9216 -k=32768 -T=1000-tb=1 -B=0
#TF32:
./cublasMatmulBench -P=sss_fast_tf32 -m=8192 -n=3456 -k=16384-T=1000 -ta=1 -B=0
#FP32:
./cublasMatmulBench -P=ddd -m=3456 -n=2048 -k=16384 -T=1000-tb=1 -B=0
#FP64:
./cublasMatmulBench -P=sss -m=3456 -n=2048 -k=16384 -T=1000-tb=1 -B=0

5.测试结果

6.测试结论

1. 对于INT8浮点类型，实测性能略高于理论性能，这可能是由于硬件优化或者其他因素导致的。
2. FP16和TF32浮点类型的实测性能都略低于其理论性能，这可能表明在这些类型上存在一些性能损失或者硬件限制。
3. 而对于FP64浮点类型，实测性能与理论性能相比也有所下降，这可能是由于硬件限制或者测试条件的影响。

综上所述，测试结果表明在不同的浮点类型下，实测性能与理论性能之间存在一些差异，这可能受到硬件、优化以及测试条件等多种因素的影响。

五、Transformer+WMT’14

1.测试目的

测试长时间运行时的性能稳定性，以及整体性能。

2.环境配置

• 显卡规格：NVIDIA A100-SXM4-40GB *8
• CUDA版本：11.8
• NVIDIA驱动版本：525.125.06
• nvidia-fabricmanager服务
• pyTorch

3.测试工具

pyTorch1.13.1、sockeye3.1.34

4.测试过程

5.测试结果

该程序主要使用pytorch的Transformer模型，数据集使用WMT’14英语翻译为德语数据并进行byte-pair encoding编码，测试训练耗时耗时。数据处理参数，训练参数在每次训练中均不改变。测试结果中GPUs表示的GPU数量，Updates表示参数更新次数，Epoch标示训练轮数，Updates/sec表示每秒钟的参数更新次数（模型训练的速度），Time-cost表示训练耗时。

6.测试结论

。。。

六、NVLink测试

1.测试目的

测试NVLink使用状况，性能

2.环境配置

• 显卡规格：NVIDIA A100-SXM4-40GB *8
• CUDA版本：11.8
• NVIDIA驱动版本：525.125.06
• nvidia-fabricmanager服务
• pyTorch

3.测试工具

NVSMI

4.测试过程

查看 nvswicth拓扑

可以看到，任意2个GPU卡之间都是 NVLink12。应该是因为A100引入了 NVSwitch的关系

查看 nvlink 状态

测试代码

import torch
import numpy as np

device = torch.device("cuda")

n_gpus = 8
data_size = 1024 * 1024 * 1024  # 1 GB

speed_matrix = np.zeros((n_gpus, n_gpus))

for i in range(n_gpus):
    for j in range(i + 1, n_gpus):
        print(f"Testing communication between GPU {i} and GPU {j}...")
        with torch.cuda.device(i):
            data = torch.randn(data_size, device=device)
            torch.cuda.synchronize()
        with torch.cuda.device(j):
            result = torch.randn(data_size, device=device)
            torch.cuda.synchronize()
        with torch.cuda.device(i):
            start = torch.cuda.Event(enable_timing=True)
            end = torch.cuda.Event(enable_timing=True)
            start.record()
            result.copy_(data)
            end.record()
            torch.cuda.synchronize()
            elapsed_time_ms = start.elapsed_time(end)
        transfer_rate = data_size / elapsed_time_ms * 1000 * 8 / 1e9
        speed_matrix[i][j] = transfer_rate
        speed_matrix[j][i] = transfer_rate

print(speed_matrix)

5.测试结果

GPU服务器内NVLINK带宽测试

6.测试结论

A100 40GB SXM 理论GPU卡间带宽400GB/s,正常模式NVLink全互通带宽约为370GB基本符合预期。