[发明专利]一种基于GPUDerict RDMA测试方法

说明书

技术领域

本发明涉及GPU服务器测试领域，具体涉及一种基于GPUDerictRDMA测试方法。

背景技术

随着IT领域技术的不断发展，传统信息化服务以及日趋强大的云计算服务对服务 器的要求越来越高，技术的更新换代时间越来越快，通用处理器CPU无论是在频率、内存带 宽、多核乃至制程和指令集上的优化，都遇到了前所未有的困难。但是GPU服务器在异构计 算领域打开了一扇门，愈来愈多的超算中心、企业和研究机构正在构建以协处理器为核心 的计算资源池，并在异构平台上发展和优化出适配的应用层，客户对GPU服务器的需求越来 多大，用以满足日益增长的计算能力需求。

发明内容

本发明的技术任务是针对现有技术的不足，提供一种基于GPUDerictRDMA测试方 法。本方法既对GPU服务器性能进行了有效测试，又为客户对GPU服务器的性能需求提供了 重要性能数据。

本发明解决其技术问题所采用的技术方案是：

一种基于GPUDerictRDMA测试方法，直接访问GPU内存，避免访问固定(pinned)CUDA 主机内存时不必要的系统内存拷贝和CPU的开销，加速了与网络和存储设备之间的通信可 以在同一系统中的一个GPU直接访问另一个GPU使用直接的高速DMA传输，增加了P2P的内存 访问，真正释放了主机CPU资源，消除主机了CPU中不必要的频繁数据传输,完全不参与输入 的RDMA操作；包括HCA卡、GPU卡、GPU必备的NvidiaDriver、NvidiaCUDAtoolkit，及 infiniband必备的MLNX_OFED驱动外，以及一个GPU与IB卡通信的nv_peer_mem包。

HCA卡为MellanoxConnectX及以后产品，GPU卡为K20及以后产品。

GPUDirectRDMA测试方法如下：

1、测试工具

a、cuda_6.5.14_linux_64.run

b、nvidia_peer_memory-1.0-0.tar.gz

c、mvapich2-gdr-cuda6.5-gnu-2.1-0.1.a.el6.x86_64.rpm

d、MLNX_OFED_LINUX-2.4-1.0.0-rhel6.2-x86_64.iso

2、测试方法

a、HCA驱动安装

mount-oro,loopMLNX_OFED_LINUX-2.4-1.0.0-rhel6.2-x86_64.iso/mnt

cd/mnt

./mlnxofedinstall

b、显卡驱动安装

chmod777cuda_6.5.14_linux_64.run

./cuda_6.5.14_linux_64.run--extract=/root/rdma

./NVIDIA-Linux-x86_64-340.29.run

c、CUDA安装

./cuda-linux64-rel-6.5.14-18749181.run

d、环境变量设置

vi~/.bashrc

在最后添加：exportPATH=/usr/local/cuda-6.5/bin:$PATHexportLD_LIBRARY_ PATH=/usr/local/cuda-6.5/lib64:$LD_LIBRARY_PATH

source~/.bashrc

vi/etc/ld.so.conf

在最后添加：/usr/local/cuda-6.5/lib64

Ldconfig

e、nv_peer_mem安装

tar-zxf../nvidia_peer_memory-1.0-0.tar.gz

rpmbuild--rebuildnvidia_peer_memory-1.0-0.src.rpm

rpm-ivh/root/rpmbuild/RPMS/x86_64/nvidia_peer_memory-1.0-0.x86_64.rpm

/etc/init.d/nv_peer_memstart启动nv_peer_mem服务

f、mvapich2安装