[发明专利]大数据存储中副本存放、补全、节点选择方法及管理系统

权利要求书

1.大数据存储中副本补全方法，其特征在于，当需要补全的副本数小于3时，获取各丢失副本所在的机架，并判断各故障节点所在机架上是否存在活动节点，若存在活动节点则在这些活动节点中按照设定的节点选择方法选择数据节点用于副本的补全，若不存在活动节点，则从与故障节点故障率相同的节点中按照设定的节点选择方法选择节点用于副本的补全；

所述设定的节点选择方法为：根据各数据节点服务器的实时状态信息及历史故障信息选取副本存放节点的评价指标，包括磁盘使用率、磁盘I/O负载率、CPU负载率、内存负载率、读写任务连接率及节点故障率，所述读写任务连接率为当前服务器读写任务的连接数与文件系统允许的读写任务最大连接数的比值；确定各个评价指标的权值，然后根据以下公式计算出的参考值来选择数据节点作为副本存放位置：

ω＝λ₀ω_{disk_used}+λ₁ω_{disk_io}+λ₂ω_cpu+λ₃ω_mem+λ₄ω_process+λ₅ω_fr

其中，ω为数据节点选择参考值，ω_{disk_used}、ω_{disk_io}、ω_cpu、ω_mem、ω_process、ω_fr分别为磁盘使用率、磁盘I/O负载率、CPU负载率、内存负载率、读写任务连接率和节点故障率，λ₀+λ₁+λ₂+λ₃+λ₄+λ₅＝1，λ₀、λ₁、λ₂、λ₃、λ₄、λ₅、ω_{disk_used}、ω_{disk_io}、ω_cpu、ω_mem、ω_process、ω_fr∈[0,1]。

2.根据权利要求1所述的大数据存储中副本补全方法，其特征在于，采用层次分析法确定各个评价指标的权值，将各个评价指标的权值描述为判断矩阵，对各评价指标进行分层，各层之间的联系实现定量分析，最终求取一个归一化特征向量作为判断矩阵；当感知到集群在处理不同任务时，自适应地匹配相应的矩阵，以修正合适的副本放置位置。

3.根据权利要求1或2所述的大数据存储中副本补全方法，其特征在于，所述节点故障率为数据节点故障时间与在线运行时间的比值或数据节点已使用年限与设计使用年限的比值。