[发明专利]数据集群存储的方法、装置及计算机设备

说明书

本申请公开了一种数据集群存储的方法、装置及计算机设备，涉及数据处理领域，可以解决利用集群进行数据存储时，不能保证数据在集群中的规则存储，且无法快速定位数据存储的位置，导致存储性能较差的问题。其中方法包括：获取所有用于存储数据的物理集群；将所述物理集群均匀映射到一致性哈希环的物理节点上；根据待存储文件的哈希值确定最优存储的目标物理集群；将所述待存储文件存储到所述目标物理集群中。本申请适用于对数据的集群存储。

技术领域

本申请涉及数据处理领域，尤其涉及到一种数据集群存储的方法、装置及计算机设备。

背景技术

随着数据存储服务使用服务器、机柜等物理资源的累加，通过集群扩充存储容量的方式受到广泛欢迎，其中，集群存储是将多台存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池，应用可以通过该访问接口透明地访问和利用所有存储设备上的磁盘，可以充分发挥存储设备的性能和磁盘利用率。

目前，在对数据进行集群存储时，普遍是将数据随机存储到空闲的物理集群中，并且在进行对数据的跨集群存储时，需要建立额外的索引库来记录数据和集群的对应关系，通过在索引库中查询获知历史文件所存储的集群。

然而，上述这种存储方式不能保证数据在集群中的规则存储，且无法快速定位数据存储的位置，导致存储性能较差。

发明内容

有鉴于此，本申请公开了一种数据集群存储的方法、装置及计算机设备，主要目的在于解决在进行数据集群存储时，不能保证数据在集群中的规则存储，且无法快速定位数据存储的位置，导致存储性能较差的问题。

根据本申请的一个方面，提供了一种数据集群存储的方法，该方法包括：

获取所有用于存储数据的物理集群；

将所述物理集群映射到一致性哈希环的物理节点上；

根据待存储文件的哈希值确定最优存储的目标物理集群；

将所述待存储文件存储到所述目标物理集群中。

根据本申请的另一个方面，提供了一种数据集群存储的装置，该装置包括：

获取模块，用于获取所有用于存储数据的物理集群；

映射模块，用于将所述物理集群映射到一致性哈希环的物理节点上；

确定模块，用于根据待存储文件的哈希值确定最优存储的目标物理集群；

存储模块，用于将所述待存储文件存储到所述目标物理集群中。

根据本申请的又一个方面，提供了一种非易失性可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述数据集群存储的方法。

根据本申请的再一个方面，提供了一种计算机设备，包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述数据集群存储的方法。

借由上述技术方案，本申请提供的一种数据集群存储的方法、装置及计算机设备，与目前数据随机存储到空闲的物理集群的方式相比，本申请可将物理集群均匀映射到一致性哈希环的物理节点上，根据待存储文件的哈希值确定待存储文件在一致性哈希环中的逻辑节点位置，基于逻辑节点位置筛选出最优存储的目标物理集群，之后将待存储文件存储到目标物理集群中。本方案能够通过计算，快速定位数据文件应该存储的集群，因数据文件的哈希值是固定的，故能够保证数据在集群中的规则存储。且将各个物理集群均匀映射到一致性哈希环的物理节点上，能使各个物理集群均能存储到数据，避免数据集中存储到某一物理集群中，导致存储压力增大，从而导致数据雪崩的问题。另外，将一致性哈希环融入本方案的数据集群存储中，可有效降低数据存储的复杂性、从而降低成本，且能实现对物理集群的高效定位，满足海量存储扩容需求。

附图说明