[发明专利]数据写入方法、装置、设备及介质

说明书

本发明实施例提供了数据写入方法、装置、设备及介质。该方法应用于分布式文件系统中，且分布式文件系统中的各节点设备通过RDMA协议进行网络互联，该方法包括：客户节点设备向主节点设备请求分配用于数据写入的多个从节点设备；将当前数据并发写入所述主节点设备分配的每个从节点设备中。根据本发明的技术方案，通过RDMA协议实现了分布式文件系统中的数据并发写入，从而提高了数据在各从节点设备间的同步进程，节省了大量的时间，使得分布式文件系统的处理性能得以提升。

技术领域

本发明涉及分布式存储技术领域，尤其涉及一种数据写入方法、装置、设备及介质。

背景技术

近年来，随着“云计算”、“互联网”、“物联网”的快速发展，大数据(Big Data)也吸引了越来越多的人关注，成为社会热点之一。伴随着商业智能的发展，数据量呈现指数增长，Hadoop(分布式系统基础架构)在多个行业中得到了越来越多的广泛应用，一些迫在眉睫需要得到解决的问题也涌现出来。

Hadoop实现了一个分布式文件系统(Hadoop Distributed File System，HDFS)，它能提供高吞吐量的数据访问，非常适合大规模数据集群上的应用。虽然HDFS可以通过线性扩展节点设备来提升集群的处理能力，但是，首先，随着集群的规模越来越大，节点设备间进行数据传输的损耗也一并提升，使得增加节点设备而得到提升的处理能力变得有限甚至收效甚微；其次，节点设备的线性扩展是通过不断增加新的硬件来使得处理能力得到提升，但对已有的单节点设备上的并行能力无法得到提升，这样既造成了资源上的浪费，同时也提高了管理上的难度。

发明内容

本发明实施例提供了数据写入方法、装置、设备及介质，能够大大提升分布式文件系统的处理性能。

第一方面，本发明实施例提供了一种数据写入方法，应用于分布式文件系统中，且所述分布式文件系统中的各节点设备通过远程直接内存访问(Remote Direct MemoryAccess，RDMA)协议进行网络互联，方法包括：

客户节点设备向主节点设备请求分配用于数据写入的多个从节点设备；

将当前数据并发写入所述主节点设备分配的每个从节点设备中。

第二方面，本发明实施例提供了一种数据写入方法，应用于分布式文件系统中，且所述分布式文件系统中的各节点设备通过远程直接内存访问RDMA协议进行网络互联，方法包括：

从节点设备获取并存储客户节点设备写入的当前数据；

对所述当前数据的完整性进行校验，得到写入结果；

将所述写入结果反馈给所述客户节点设备。

第三方面，本发明实施例提供了一种数据写入装置，应用于分布式文件系统中，且所述分布式文件系统中的各节点设备通过远程直接内存访问RDMA协议进行网络互联，装置包括：

请求单元，用于向主节点设备请求分配用于数据写入的多个从节点设备；

写入单元，用于将当前数据并发写入所述主节点设备分配的每个从节点设备中。

第四方面，本发明实施例提供了一种数据写入装置，应用于分布式文件系统中，且所述分布式文件系统中的各节点设备通过远程直接内存访问RDMA协议进行网络互联，装置包括：

获取单元，用于获取并存储客户节点设备写入的当前数据；

校验单元，用于对所述当前数据的完整性进行校验，得到写入结果；

反馈单元，用于将所述写入结果反馈给所述客户节点设备。