[发明专利]一种数据存储方法、装置、设备及介质

说明书

本申请公开了一种数据存储方法、装置、设备及介质，涉及计算机技术领域，包括：通过客户端向分布式文件系统中的名称节点发送文件上传请求，并通过名称节点确定各数据节点；向各数据节点发起连接建立请求，并在接收到各数据节点基于允许连接返回的应答消息后，与各数据节点建立通信管道；对大数据文件进行分片，得到若干数量的数据块；通过通信管道，将若干数量的数据块依次分配至各数据节点，然后将若干数量的数据块中当前未被分配的数据块，分配至当前已完成传输的数据节点直至若干数量的数据块均被存储至相应的数据节点。可见，本申请通过增加与数据节点的连接数量达到提高传输效率、提高数据传输稳定性以及资源合理利用的效果。

技术领域

本发明涉及计算机技术领域，特别涉及一种数据存储方法、装置、设备及介质。

背景技术

随着数据量越来越大，同一个操作系统中无法存下所有的数据，因此需要将数据分配到更多的操作系统管理的磁盘中，但是这样不方便管理和维护，由此需要一种系统来管理多台机器上的文件，也即分布式文件管理系统，HDFS(Hadoop Distributed FileSystem，分布式文件系统)是分布式文件管理系统中的一种，由很多服务器联合起来实现其功能，用于存储文件，并通过目录树来定位文件。

参见图1所示，当前HDFS流式数据存储的步骤如下：(1)客户端向名称节点(NN，Name Node)发送文件上传请求；(2)NN节点收到请求后，执行各种检查确定该文件是否存在以及客户端是否有权限操作，如果均有，则向客户端返回可以上传的指令；(3)客户端收到指令后，向NN节点发起DN(DN，Data Node)节点下发请求(4)NN节点根据副本参数和机架感知计算出上传的DN节点，并告知给客户端；(5)客户端根据返回的DN节点进行数据上传，首先与第一个DN节点建立通信管道，然后第一个DN节点调用第二个DN节点，第二个DN节点调用第三个DN节点，直到将整个通信建立完成；(6)DN1、DN2、DN3逐级应答客户端，通信管道建立完成；(7)客户端向DN1上传第一个block(数据块)，(先从磁盘读取数据放到一个本地内存缓存)，以packet为单位，DN1收到一个packet就会传给DN2，DN2传给DN3；其中，该数据块为对文件进行切分后得到的数据块；(8)当第一个block传输完成后，客户端再次请求上传第二个block，直到文件的全部block上传成功。上述过程缺陷是：数据按照block流式存储，受限于网络带宽、网络时延，以及断连后需要选择新的DN节点重新上传；其次，block上传至DN节点后处理受限于DN节点的资源使用，当此DN节点处理其他紧急事务，资源利用率过高会导致数据处理缓慢；最后，DN1接收数据后传给DN2，DN2传给DN3，使得DN2、DN3的资源得不到有效利用。

为此，如何提高传输效率、提高数据传输稳定性以及实现资源合理利用是本领域亟待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种数据存储方法、装置、设备及介质。能够提高传输效率、提高数据传输稳定性以及实现资源合理利用，其具体方案如下：

第一方面，本申请公开了一种数据存储方法，包括：

通过客户端向分布式文件系统中的名称节点发送文件上传请求，并通过所述名称节点确定各数据节点；

向所述各数据节点发起连接建立请求，并在接收到所述各数据节点基于允许连接返回的应答消息后，与所述各数据节点建立通信管道；

对大数据文件进行分片，得到若干数量的数据块，其中，每个所述数据块包括所述大数据文件的文件标识以及分片偏移量；

通过所述通信管道，将所述若干数量的数据块依次分配至所述各数据节点，然后将所述若干数量的数据块中当前未被分配的数据块，分配至当前已完成传输的数据节点直至所述若干数量的数据块均被存储至相应的数据节点，以便通过所述各数据节点完成对所述若干数量的数据块的传输。

可选的，所述通过所述名称节点确定各数据节点，包括：