[发明专利]一种分片映射关系确定方法、装置、设备及存储介质

说明书

本发明公开了一种基于分布式存储系统的分片映射关系确定方法、装置、设备及计算机可读存储介质；本方案利用CRUSH算法确定每个分片与存储单元的分片对应关系之后，还需要计算每个存储单元中的均衡系数，如果某一存储单元的均衡系数未在预先设定的均衡范围内，则说明存储单元中的分片分布不均匀，这时便需要通过设置例外映射表的方式来强行改变分片与存储单元的对应关系，以保证分片的均匀分布，从而提高数据分布的均匀性。

技术领域

本发明涉及数据访问技术领域，更具体地说，涉及一种基于分布式存储系统的分片映射关系确定方法、装置、设备及计算机可读存储介质。

背景技术

分布式存储系统，是将数据分散存储在多台独立的设备上。目前，分布式存储系统面临着的首要问题，就是如何将大量的数据分布在不同的存储节点上，一个数据分布算法需要考虑两个基本的目标：其中一个为均匀性，即：数据需要分布的尽量均匀，使不同存储节点的负载均衡；另一个为稳定性，即：在集群节点拓扑发生改变时，重新分布的数据量尽可能小。

为了实现稳定性的目标，并且兼顾扩展性，实践中一般使用分片的方式组织数据，集群一般保持分片的数量不变，分片是一组数据对象的集合，作为最小的数据迁移和备份单位。计算数据分布位置时，需要进行两次映射：第一次映射是数据对象到分片的映射，第二次映射是分片到节点磁盘的映射。这样分片的划分和分片的分片被解耦。只要集群的分片数量保持不变，第一次映射的结果就是绝对稳定的，可以保证数据不会在分片中迁移，因此研究对象从计算数据的位置简化为计算分片的位置。

现有的分布式存储系统一般使用一致性Hash和CRUSH算法来实现计算分片的位置(即第二次映射)，因为两种算法的结果都有随机性，可以保证数据在一定程度上的均匀性。具体来说，如果使用一致性Hash算法，则需要服务器维护分片到节点磁盘的映射表，客户端对数据进行访问前，需要先给服务器发送请求查询数据的位置，然后再向对应的数据节点发送访问请求，即每次访问数据需要两次请求，效率低。如果使用CRUSH算法，服务器只需维护拓扑和映射规则，客户端对数据进行访问前先获取物理拓扑和映射规则，通过CRUSH算法自行计算出数据位置然后向对应的数据节点发送访问请求，即：每次访问数据只需向数据节点请求一次即可，效率高。但是因为CRUSH随机算法，会出现数据分布不均匀的问题。

发明内容

本发明的目的在于提供一种基于分布式存储系统的分片映射关系确定方法、装置、设备及计算机可读存储介质，以确定分片与存储单元的映射关系，使分片在存储单元中均匀分布，提高数据分布的均匀性。

为实现上述目的，本发明提供的一种基于分布式存储系统的分片映射关系确定方法，所述分片映射关系确定方法包括：

利用CRUSH算法确定每个分片与存储单元的分片对应关系；

根据所述分片对应关系、每个存储单元的权重系数及分片平均值，确定每个存储单元的均衡系数；其中，所述分片平均值通过分片总指标，以及所有存储单元的权重系数总和确定；

若存在存储单元的均衡系数不在预定均衡范围内，则通过设置例外映射表对所述分片对应关系进行调整，直到每个存储单元的均衡系数均在预定均衡范围内为止，以使客户端通过CRUSH算法及例外映射关系确定分片与存储单元的映射关系。

其中，所述根据所述分片对应关系、每个存储单元的权重系数及分片平均值，确定每个存储单元的均衡系数，包括：

计算分片总指标与所有存储单元的权重系数总和的商值，得到分片平均值；

根据每个存储单元的分片对应关系及每个存储单元的权重系数，确定每个存储单元的单位权重分片指标；

利用每个存储单元的单位权重分片指标以及所述分片平均值，计算每个存储单元的均衡系数。

其中，若所述分片总指标为分片总数，则所述根据每个存储单元的分片对应关系及每个存储单元的权重系数，确定每个存储单元的单位权重分片指标，包括：