[发明专利]一种计算节点间数据传输的方法、系统及电子设备

说明书

本申请公开了一种计算节点间数据传输的方法，包括：接收输入的数据传输任务；根据数据传输任务确定传输信息；调用PCIe本地DMA引擎从内存中读取待传输数据，并将待传输数据传输至远程DMA引擎；调用远程DMA引擎将待传输数据传输至目标计算节点。本申请所提供的技术方案，通过在计算节点上增加了PCIe本地DMA引擎组件和远程DMA引擎组件，使得待传输数据由内存中直接DMA传输到PCIe本地DMA引擎中，降低了计算节点间数据传输对CPU的负载以及对缓存的需求，不需要额外开辟空间来缓存数据，降低了对缓存的需求。本申请同时还提供了一种计算节点间数据传输的系统、设备及计算机可读存储介质，具有上述有益效果。

技术领域

本申请涉及数据传输领域，特别涉及一种计算节点间数据传输的方法、系统、电子设备及计算机可读存储介质。

背景技术

服务器作为互联网的核心设备，向用户提供各种网络服务。随着互联网的发展，不论是用户请求规模和复杂度，还是涉及的数据量都成几何指数增长，现阶段对服务器的处理能力提出了超高要求，不仅要在极短时间内响应大量用户请求，往往单次请求所涉及的数据量也是巨大的。在这种需求下，服务器集群、数据中心等将多个服务器集中起来一起进行处理和运算的处理系统应运而生，在客户端看来就像是只有一个服务器。

集群或数据中心可以利用多个服务器进行并行计算从而获得很高的计算速度，每个服务器称作一个计算节点，并配备一定量的内存。各计算节点分工完成同一服务时，需要各计算节点相互通信协同，彼此节点内的数据也需要共享传输。

请参考图1，图1为现有技术中一种计算节点间数据传输框架的示意图。如图1所示，现有技术方案计算节点间通过传统网卡互联，多个节点组成一个局域网络。每个节点被分配成不同的IP地址，运行于各节点的应用程序通过TCP/IP协议将数据传输到目的节点，或者向另一个节点发送请求数据的命令。

现有技术方案实现服务器集群或数据中心，主要存在以下问题：

1.在数据传递的整个过程中，CPU需要不间断的参与传输过程，导致CPU资源的占用，使任务计算和数据传输不能很好的并行开展，对CPU运算能力产生争抢。

2.操作系统内核在逐层打包数据的过程中，数据逐层复制传递，增加了内存的开销。

因此，如何降低计算节点间数据传输对CPU的负载以及对缓存的需求是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种计算节点间数据传输的方法、系统、电子设备及计算机可读存储介质，用于降低计算节点间数据传输对CPU的负载以及对缓存的需求。

为解决上述技术问题，本申请提供一种计算节点间数据传输的方法，该方法包括：

接收输入的数据传输任务；

根据所述数据传输任务确定传输信息；其中，所述传输信息包括待传输数据的物理地址及目标计算节点；

调用PCIe本地DMA引擎从内存中读取所述待传输数据，并将所述待传输数据传输至远程DMA引擎；

调用所述远程DMA引擎将所述待传输数据传输至所述目标计算节点。

可选的，调用PCIe本地DMA引擎从内存中读取待传输数据，包括：

调用所述PCIe本地DMA引擎启动PCIE-DMA传输操作，根据所述待传输数据的物理地址按照预设的粒度从所述内存中读取所述待传输数据。

可选的，调用所述远程DMA引擎将所述待传输数据传输至所述目标计算节点，包括：

调用所述远程DMA引擎根据所述目标计算节点配置网卡，并将所述待传输数据通过所述网卡传输至交换网络；