[发明专利]一种数据布局的方法、装置和系统

说明书

技术领域

本发明涉及云存储技术领域，特别涉及一种数据布局的方法、装置和系统。

背景技术

云存储平台由大量异构的存储节点构成，数据在这些存储节点中的布局是影响云存储平台中的存储节点的充分利用的关键技术。目前，为了实现数据存储，数据布局的方式主要是：为每一个存储节点分配一个哈希区间，并按照数据的某一特征如文件名、用户ID等计算得到多个哈希值，每一个哈希值对应数据中的一个片段，当这多个哈希值落在同一个哈希区间时，这数据将被存储在该哈希区间对应的存储节点上，而不是将数据的各个片段分别存储在多个存储节点上，导致上述存储了数据的存储节点的存储量过大，而其他存储节点有很多剩余存储空间，造成存储节点负载不均衡。

发明内容

本发明提供一种数据布局的方法、装置和系统，提高了云存储平台中的存储节点负载均衡。

一种数据布局的方法，确定各个存储节点的相对权重值，并设置相对权重阈值，还包括：

根据所述相对权重值，将所述各个存储节点分配到至少两个存储集合中，所述至少两个存储集合中，每一个存储集合中任意两个存储节点的相对权重值的差值的绝对值均小于等于相对权重阈值，任意两个存储集合中的存储节点不同；

根据所有存储集合的集合特征，确定所述所有存储集合的集合特征区间；

根据所述每一个存储集合中各个存储节点的节点特征，确定所述各个存储节点的节点特征区间；

当接收到存储目标数据请求时，根据目标数据的特征以及各个存储集合的集合特征区间，确定该目标数据对应的目标存储集合；

根据所述目标数据特征以及目标存储集合中各个存储节点的节点特征区间，确定目标存储集合中与该目标数据特征对应的目标存储节点，将所述目标数据存储到所述目标存储节点。

优选地，所述确定各个存储节点的相对权重值，包括：通过相对权重计算公式：计算各个存储节点的相对权重值，其中，ω_a表征存储节点a的相对权重值，v_a表征存储节点a的存储容量，表征所有存储节点的存储容量之和。

优选地，所述根据所述相对权重值，将所述各个存储节点分配到至少两个存储集合中，包括：

按照相对权重值的大小，为所述相对权重值排序；

循环执行N1至N3，直至为所有存储节点均分配一个对应的存储集合：

N1：按照排序的顺序，对于第一个相对权重值，从第二个相对权重值开始直至最后一个相对权重值中的每一个当前相对权重值，依次计算当前相对权重值与第一个相对权重值的差值的绝对值，判断该绝对值是否小于等于所述相对权重阈值，如果是，则执行N2；否则执行N3；

N2：当前相对权重值对应的存储节点属于第一个相对权重值对应的存储节点所在的当前存储集合，结束；

N3：为所述当前相对权重值对应的存储节点重新分配一个存储集合，并将该当前相对权重值作为第一个相对权重值，执行N1。

优选地，所述根据所述每一个存储集合中各个存储节点的节点特征，确定所述各个存储节点的节点特征区间，包括：

根据每一个存储节点的相对权重值，为所述每一个存储节点生成对应的节点特征字符串；

针对每一个存储集合，利用该存储集合中的所有存储节点构建对应于该存储集合的节点虚拟环，每一个存储节点在对应的节点虚拟环中的位置由特征值计算公式：H₂:D_c→P_c获得，其中，H₂表征预先设定的节点特征常数；D_c表征存储节点c的节点特征字符串，P_c表征存储节点c在所述节点虚拟环中的位置的特征值；

对于每一个存储集合中的每一个当前存储节点，将当前存储节点在节点虚拟环中逆时针相邻的存储节点对应的P值作为当前存储节点的节点特征区间的起点，当前存储节点对应的P值作为当前存储节点的节点特征区间的终点，所述节点特征区间为左开右闭区间。

优选地，在所述将所述各个存储节点分配到至少两个存储集合中之后，在所述为所述所有存储集合配置对应的集合特征区间之前，进一步包括：确定每一个存储集合对应的虚拟存储集合的个数：其中，N_x表征存储集合x对应的虚拟集合个数；表征存储集合x的平均相对权重值；表征所有存储集合对应的各个平均相对权重值中的最小平均相对权重值；k表征虚拟存储集合计算常数；n表征所有存储节点的个数；当N_x小于1时，取N_x为1；