[发明专利]一种数据文件存储方法、装置、设备及存储介质

说明书

本发明实施例公开了一种数据文件存储方法、装置、设备及存储介质。该方法包括：划分数据文件，得到数据文件区块，所述数据文件包括文件副本，根据所述文件副本数、各所述容灾域当前的空闲副本空间数以及各所述容灾域的可用副本空间数，确定各所述容灾域中与所述文件副本数匹配的目标副本空间数，将所述数据文件区块中的文件副本分别存储到各目标副本空间数对应的容灾域中。与现有技术相比，本发明实施例实现了将数据文件区块中的文件副本分别存储到各目标副本空间数对应的容灾域中，解决了现有技术中因数据文件中的文件副本在容灾域中分配不均匀导致后续无法继续存储数据文件的问题。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据文件存储方法、装置、设备及存储介质。

背景技术

分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连，节点可简单的理解为一台计算机。分布式文件系统可以将固定于某个地点的某个文件系统，扩展到任意多个地点/多个文件系统，众多的节点组成一个文件系统网络。每个节点可以分布在不同的地点，通过网络进行节点间的通信和数据传输，有效地解决了数据的存储和管理难题。

存储节点用于提供数据存储服务，存储数据文件。容灾域是一组存储节点的逻辑组合。分布式文件系统中通常采用多副本的方式来提高数据的可靠性，即把数据文件按照固定的区块大小划分为多个区块，每个区块以多副本的方式存储在不同的容灾域中。对于同一个区块来说，该区块对应的各副本中的数据相同。

目前常用的数据文件存储方法主要包括基于统计和监控方法、基于一致性hash方法以及基于伪随机方法等。这些存储方法均有可能导致某个容灾域的副本使用较多导致该容灾域无空闲副本可用，进而导致后续无法继续存储多副本区块。

发明内容

本发明实施例提供一种数据文件存储方法、装置、设备及存储介质，以解决现有技术中因数据文件中的文件副本在容灾域中分配不均匀导致后续无法继续存储数据文件的问题。

第一方面，本发明实施例提供了一种数据文件存储方法，包括：

划分数据文件，得到数据文件区块，所述数据文件包括文件副本；

如果各容灾域的可用副本空间数之和大于或等于文件副本数，根据所述文件副本数、各所述容灾域当前的空闲副本空间数以及各所述容灾域的可用副本空间数，确定各所述容灾域中与所述文件副本数匹配的目标副本空间数；

将所述数据文件区块中的文件副本分别存储到各目标副本空间数对应的容灾域中。

第二方面，本发明实施例还提供了一种数据文件存储装置，包括：

划分模块，用于划分数据文件，得到数据文件区块，所述数据文件包括文件副本；

副本空间数确定模块，用于如果各容灾域的可用副本空间数之和大于或等于文件副本数，根据所述文件副本数、各所述容灾域当前的空闲副本空间数以及各所述容灾域的可用副本空间数，确定各所述容灾域中与所述文件副本数匹配的目标副本空间数；

存储模块，用于将所述数据文件区块中的文件副本分别存储到各目标副本空间数对应的容灾域中。

第三方面，本发明实施例还提供了一种设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如第一方面所述的数据文件存储方法。

第四方面，本发明实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的数据文件存储方法。