[发明专利]一种大数据存储下结合节点负载和距离的副本放置方法

摘要

本发明公开了一种大数据存储下结合节点负载和距离的副本放置方法，在写入一个数据块副本时，对此块的节点有效域内所有节点进行负载状态和存储距离的综合评价，每次选取评价值最低的三个节点作为块存储节点。本发明选取存储节点的内存使用率、存储空间利用率、磁盘IO利用率这三个重要节点性能指标作为当前节点状态评价因素，考虑到存储距离不仅影响数据写延迟，还可能影响数据或节点失效后的平均修复时间MTTR，因此将放置距离作为节点选取的另一主要参考因素。可选取当前系统的较优节点作为目标存储节点，使得集群负载更加均衡，最终提高了系统可用性和用户服务质量。本发明适用于节点同构和节点异构的存储环境，在不同的大数据存储业务场景下，均可做出适应调整。

主权项

1.一种大数据存储下结合节点负载和距离的副本放置方法，其特征在于：所述基于节点负载和存储距离的节点评价方式和副本存储位置选取，具体步骤为：步骤1：对NAD内的节点获取其内存使用情况、节点磁盘使用情况、磁盘IO使用情况以及节点的存储距离等评价因素，计算内存使用率、磁盘使用率、磁盘IO使用率、节点疏远率；步骤2：根据业务场景需要对各项评价因素进行优先级排序，在流媒体视频存储业务中，得到的优选级排序为：磁盘IO>存储空间>存储距离>节点内存；步骤3：使用层次分析法，将不同的指标优先级进行两两对比，其中每个指标的重要程度都用定量常数表示，x1、x2、x3、x4分别代表了内存利用率、存储空间利用率、磁盘IO利用率、节点疏远率，根据比较值构建判断矩阵X， X = x 11 x 12 x 13 x 14 x 21 x 22 x 23 x 24 x 31 x 32 x 33 x 34 x 41 x 42 x 43 x 44 ; ]]>步骤4：对判断矩阵X进行归一化处理得到归一化矩阵A，将矩阵A行向量相加可得到列向量B；步骤5：将列向量B进行归一化处理得到向量λ并求得λmax， λ m a x = Σ i = 1 k ( X λ ) i kλ i ; ]]>步骤6：根据公式CR＝CI/RI得出一致性比例，当CR<0.10时，可以接受矩阵的一致性，否则，需要进一步对矩阵修改，直至所构建的矩阵符合一致性得到满足；步骤7：证明判断矩阵符合一致性要求，根据向量B得出基于节点i当前状态和存储距离的整体评价模型；步骤8：使用节点评价模型对节点有效决策域内的所有节点进行评价，最终选取评价值最低的三个节点作为本数据块的三个存储节点。