[发明专利]一种基于RDMA网络的分布式文件系统数据传输方法和系统

说明书

本发明公开了一种基于RDMA网络的分布式文件系统数据传输方法，包括：客户端在接收到来自用户的文件访问请求时，向服务端发起RDMA连接请求，服务端在获取到来自客户端的RDMA连接请求后，建立与客户端的RDMA连接，客户端根据文件访问请求生成网络数据访问请求，并利用RDMA连接将该网络数据访问请求发送到服务端，服务端对网络数据访问请求进行解析，以获取其中的地址信息，并根据该地址信息获取其对应的文件在该服务端的内存中的地址作为服务端返回地址，服务端将服务端返回地址、以及RDMA远程访问权限信息发送到客户端。本发明能够解决现有分布式文件系统存在的数据传输过程中内存操作的开销较大的技术问题，以及服务端的负载较大、传输时延较长的技术问题。

技术领域

本发明属于计算机网络技术领域，更具体地，涉及一种基于RDMA网络的分布式文件系统数据传输方法和系统。

背景技术

随着近年来大数据、云计算以及人工智能等计算机信息技术的快速发展，全球互联网数据规模呈指数级增长，众多高并发、低时延应用对高性能硬件的需求催生了高性能存储器的出现。对于高性能存储器而言，由于其存储侧I/O吞吐能力强大，分布式文件系统需要分配较多的计算资源以完成数据处理与数据交换，从而导致系统的传输时延增加，从而限制了网络传输能力与系统性能。为了解决这个问题，远程内存直接存取(RemoteDirect Memory Access，简称RDMA)网络应运而生，它在减少计算资源消耗的同时，能保证极低的传输时延。

目前使用RDMA网络的分布式文件系统大多数是将RDMA库或插件作为RDMA模块使用。在此方式下，分布式文件系统的RDMA模块封装了底层的RDMA网络传输功能，并为上层应用提供调用接口，上层应用则通过该调用接口，间接使用RDMA网络。

然而，现有使用RDMA网络的分布式文件系统都存在一些不可忽略的技术问题：由于分布式文件系统的网络传输层基本都与逻辑处理层严格隔离，从而无法根据RDMA传输的特点将RDMA网络与分布式文件系统的数据处理机制进行有效的整合与适配，进而一方面会导致数据传输过程中的内存操作的开销较大，另一方面会使得服务端的负载较大，传输时延较长。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于RDMA网络的分布式文件系统数据传输方法和系统，其目的在于，根据RDMA网络传输的特点将其与分布式文件系统有机地结合在一起，从而解决现有使用RDMA网络的分布式文件系统存在的数据传输过程中内存操作的开销较大的技术问题，以及服务端的负载较大、传输时延较长的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于RDMA网络的分布式文件系统数据传输方法，包括以下步骤：

(1)客户端在接收到来自用户的文件访问请求时，向服务端发起RDMA连接请求；

(2)服务端在获取到来自客户端的RDMA连接请求后，建立与客户端的RDMA连接；

(3)客户端根据文件访问请求生成网络数据访问请求，并利用RDMA连接将该网络数据访问请求发送到服务端；

(4)服务端判断来自于客户端的网络数据访问请求是数据读请求还是数据写请求，如果是数据读请求则进入步骤(5)，如果是数据写请求则进入步骤(6)；

(5)服务端对网络数据访问请求进行解析，以获取其中的地址信息，并根据该地址信息获取其对应的文件在该服务端的内存中的地址作为服务端返回地址，然后进入步骤(8)；

(6)服务端判断网络数据访问请求对应文件的大小是否大于其已注册的文件存储空间，如果是则进入步骤(7)，否则进入步骤(8)；

(7)服务端根据网络数据访问请求对应文件的大小对其已注册的文件存储空间进行扩容操作，并获取网络数据访问请求对应的文件在扩容后的文件存储空间中的待写入地址作为服务端返回地址；