[发明专利]一种数据分区路由方法、装置及系统

说明书

一种数据分区路由方法、装置及系统，所述方法包括：根据第一存储节点的负载能力、所述第一集合中多个第一存储节点的总负载能力及第二集合的数据分区数目，确定所述第一存储节点可负载的第一数据分区个数；根据第一存储节点可负载的第一数据分区个数，从所述第二集合中选择相应个数的数据分区分配给所述第一存储节点，建立选择的数据分区到所述第一存储节点的路由。本申请还提供了相应的数据分区路由装置和系统。本申请可以使数据分区在存储节点合理分布。

技术领域

本发明涉及计算机领域，更具体地，涉及一种数据分区路由方法、装置及系统。

背景技术

在分布式存储系统领域，存储系统通常以集群形态呈现给用户。集群形态的优势是可以水平扩展，自适应弹性伸缩，同时能够提供数据冗余存储功能。正因为如此，分布式存储系统在各大互联网企业，大数据领域有着广泛的应用。

在分布式存储集群中，数据集被分成指定数量的数据分区(Partition)，数据分区之间交集为空。当存储数据时，被存储的数据条目会按照既定规则存放到唯一的一个数据分区对应的存储节点(也可称为机器节点、物理节点)中。例如存在N个数据分区时,键值为Key的数据条目可以存放到号码为Hash(key)％N的数据分区对应的存储节点，其中，Hash(key)表示key的哈希值，“％”表示取模运算。

通常在一个分布式集群中，为了提高数据可靠性与安全性，数据分区是多备份存储的，也即是一个数据分区会被存储为多个备份，其中一个备份为该数据分区的主分区，其余备份按逻辑称之为该数据分区的副本分区。

分布式存储系统领域广泛使用的数据分区算法是基于一致性哈希算法。该方案是分别将数据分区的哈希值和存储节点的机器ID的哈希值映射到同一个一维值域空间中，首尾相连形成环，机器ID的哈希值分布在环中。如图1所示，假定存储节点的机器ID的哈希值为N0，第二存储节点的机器ID的哈希值为N1，第三存储节点的机器ID的哈希值为N2，Hash环的Hash空间被哈希值N0、N1和N2划分成3个区间，哈希值落在[N0,N1]上的数据分区保存在存储节点，哈希值落在[N1,N2]上的数据分区保存在第二存储节点，哈希值落在[N2,N0]上的数据分区保存在第三存储节点。

数据分区路由表描述的是数据分区与存储节点之间的映射关系。给定数据分区的编号，根据数据分区路由表能够唯一确定一个存储节点。在上述示例中，在数据分区路由表中，需要为哈希值落在[N0,N1]上的数据分区建立到存储节点的路由，为哈希值落在[N1,N2]上的数据分区建立到第二存储节点的路由，为哈希值落在[N2,N0]上的数据分区建立到第三存储节点的路由。数据分区路由表具有可逆性有利于数据恢复，所谓的可逆性是指：数据分区路由表在状态S1下，经过某种操作OP变为状态S2后，再经过OP的逆操作，该数据分区路由表的状态可以变回为S1。在数据分区路由表变化时，路由变化的数据分区需要从源存储节点迁移到目标存储节点。

存储系统中有的存储节点资源较多，有的存储节点资源较少。传统的数据分区路由方法没有考虑存储节点的资源状况，会引起数据存储的不均衡。此外，传统的数据分区路由方法不能保证数据分区路由表的可逆性，而且在数据分区路由表变化时，数据的迁移量较大。

发明内容

本发明实施例提供了一种数据分区路由方法，包括：

根据第一集合中的第一存储节点的负载能力、所述第一集合中多个第一存储节点的总负载能力及第二集合的数据分区数目，确定所述第一存储节点可负载的第一数据分区个数；其中，所述第一集合是存储系统中第一存储节点的集合，所述第二集合是所述存储系统中待路由数据分区的集合；

根据所述第一存储节点可负载的第一数据分区个数，从所述第二集合中选择相应个数的数据分区分配给所述第一存储节点，建立选择的数据分区到所述第一存储节点的路由。

本发明实施例还提供了一种数据分区路由系统，包括路由初始化模块，所述路由初始化模块包括：