[发明专利]一种数据存储方法、装置、设备及介质

权利要求书

1.一种数据存储方法，其特征在于，包括：

通过客户端向分布式文件系统中的名称节点发送文件上传请求，并通过所述名称节点确定各数据节点；

向所述各数据节点发起连接建立请求，并在接收到所述各数据节点基于允许连接返回的应答消息后，与所述各数据节点建立通信管道；

对大数据文件进行分片，得到若干数量的数据块，其中，每个所述数据块包括所述大数据文件的文件标识以及分片偏移量；

通过所述通信管道，将所述若干数量的数据块依次分配至所述各数据节点，然后将所述若干数量的数据块中当前未被分配的数据块，分配至当前已完成传输的数据节点直至所述若干数量的数据块均被存储至相应的数据节点，以便通过所述各数据节点完成对所述若干数量的数据块的传输。

2.根据权利要求1所述的数据存储方法，其特征在于，所述通过所述名称节点确定各数据节点，包括：

通过所述名称节点，并基于副本存放策略以及机架感知确定各数据节点。

3.根据权利要求2所述的数据存储方法，其特征在于，所述向所述各数据节点发起连接请求，包括：

当各数据节点数量不大于所述副本存放策略所规定的副本个数，则向所述各数据节点发起连接请求。

4.根据权利要求2所述的数据存储方法，其特征在于，所述向所述各数据节点发起连接请求，包括：

当各数据节点数量大于所述副本存放策略中所规定的副本个数，则判断所述副本存放策略中的副本是否为默认副本；

如果所述副本存放策略中的副本为所述默认副本，则基于默认副本个数向相应的数据节点发起连接请求；

如果所述副本存放策略中的副本为自定义副本，则向所述各数据节点发起连接请求。

5.根据权利要求1所述的数据存储方法，其特征在于，所述将所述若干数量的数据块中当前未被分配的数据块，分配至当前已完成传输的数据节点直至所述若干数量的数据块均被存储至相应的数据节点之后，还包括：

基于预设的交互管道将所述各数据节点中每个数据节点接收到的数据块发送至所述各数据节点中的其他数据节点。

6.根据权利要求5所述的数据存储方法，其特征在于，所述基于预设的交互管道将所述各数据节点中每个数据节点接收到的数据块发送至所述各数据节点中的其他数据节点之后，还包括：

基于所述文件标识判断当前所述各数据节点中，任一数据节点的数据块是否属于同一个大数据文件；

如果所述任一数据节点中的所述数据块属于同一个大数据文件，则按照所述分片偏移量将所述任一数据节点中的所述数据块重组为相应的大数据文件。

7.根据权利要求1至6任一项所述的数据存储方法，其特征在于，还包括：

当目标数据节点对目标数据块的传输过程存在异常，则判断所述目标数据节点以外是否存在其他数据节点；

如果所述目标数据节点以外存在其他数据节点，则从所述其他数据节点中确定新的数据节点，并重新向所述新的数据节点发送连接请求，然后在接收到所述新的数据节点基于允许连接返回的应答消息后，与所述新的数据节点建立通信管道，并通过所述通信通道将所述目标数据块分配至所述新的数据节点。

8.一种数据存储装置，其特征在于，包括：

数据节点确定模块，用于通过客户端向分布式文件系统中的名称节点发送文件上传请求，并通过所述名称节点确定各数据节点；

通信管道建立模块，用于向所述各数据节点发起连接请求，并在接收到所述各数据节点基于允许连接返回的应答消息后，与所述各数据节点建立通信管道；

大数据文件分片模块，用于对大数据文件进行分片，得到若干数量的数据块，其中，每个所述数据块包括所述大数据文件的文件标识以及分片偏移量；

数据块传输模块，用于按照分片顺序并通过所述通信管道，将所述若干数量的数据块依次分配至所述各数据节点，然后将所述若干数量的数据块中当前未被分配的数据块，分配至当前已完成传输的数据节点直至所述若干数量的数据块均被存储至相应的数据节点，以便通过所述各数据节点完成对所述若干数量的数据块的传输。