[发明专利]数据传输测试方法、装置、设备以及存储介质

说明书

本申请公开了一种数据传输测试方法、装置、设备以及存储介质，该方法包括：获取目标节点的拓扑结构信息，根据拓扑结构信息和待测试的传输策略创建多个测试项，每个测试项包括待传输数据长度、一个待测试的传输策略和一条待测试连接链路，根据多个测试项进行数据传输测试，得到每个测试项的测试结果，根据每个测试项的测试结果，确定每条连接链路的传输策略信息，传输策略信息包括传输数据长度区间和传输时间最小的传输策略的对应关系。从而，通过自动化的数据传输测试可获取目标节点中每条连接链路的传输数据长度区间对应的传输时间最小的传输策略。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据传输测试方法、装置、设备以及存储介质。

背景技术

异构加速器运行系统是指包括中央处理器(central processing unit，CPU)和异构加速器的异构系统，在异构加速器运行系统中，异构加速器为主要计算单元，异构加速器具有有效提供高浮点计算性能的同时，消耗更低功耗的优点。异构加速器有图形处理单元(graphics processing unit，GPU)、集成众核(Many Integrated Core，MIC)、数字信号处理(Digital Signal Processing，DSP)和现场可编程门阵列(Field Programmable GateArray，FPGA)等。

在异构加速器运行系统中，涉及到异步数据传输，异步数据传输是指CPU与异构加速器之间的数据传输以及不同异构加速器之间的数据传输。异步数据传输功能主要由异构加速器配置的异步直接存储器访问(System Direct Memory Access，SDMA)引擎(通常配置2个SDMA引擎，用于处理双向链路的数据传输请求)支持，其中，SDMA引擎用于处理DMA请求，不依赖于其他计算单元就可以实现数据传递。为了达到异构加速器运行系统整体最优性能，异步数据传输需要确保传输请求的地址空间对应物理页面均为页面锁定(Page-lock)状态，同时还需要配置SDMA引擎信息。在配置SDMA引擎信息时，需要设置待传输数据的长度对应的传输时间最小的数据传输策略，数据传输策略包括CPU直接传输、SDMA传输和临时缓冲区(Staging-buffer)传输，其中，缓冲区大小和缓冲区数量的不同，又对应着不同的临时缓冲区传输策略。另一方面，有些异构加速器已使用一种新型的高速互联接口(如NVLink或XGMI)，这使得异构加速器运行系统所在的节点内连接链路包括PCI-E链路和高速互联链路。

因此，为实现系统整体最优性能，对于节点内每条连接链路，如何获取不同长度待传输数据对应的传输时间最小的数据传输策略，是亟需解决的问题。

发明内容

本申请提供一种数据传输测试方法、装置、设备以及存储介质，以解决对于节点内每条连接链路，如何获取不同长度待传输数据对应的传输时间最小的数据传输策略的问题。

第一方面，本申请提供一种数据传输测试方法，包括：

获取目标节点的拓扑结构信息，所述拓扑结构信息包括CPU和异构加速器的存储空间以及数据链路信息；

根据所述拓扑结构信息和待测试的传输策略创建多个测试项，每个所述测试项包括待传输数据长度、一个待测试的传输策略和一条待测试连接链路，所述待测试连接链路为所述数据链路信息中的连接链路；

根据所述多个测试项进行数据传输测试，得到每个测试项的测试结果；

根据所述每个测试项的测试结果，确定所述数据链路信息中每条连接链路的传输策略信息，所述传输策略信息包括传输数据长度区间和传输时间最小的传输策略的对应关系。

可选的，所述数据链路信息包括CPU与异构加速器之间的连接链路和距离以及两个异构加速器之间的连接链路和距离，所述获取所述目标节点的数据链路信息，包括：

根据所述每个CPU与异构加速器之间的连接链路的类型和所述每个CPU与异构加速器之间的非统一内存访问NUMA距离，确定每个CPU与异构加速器之间的距离；