[发明专利]大数据存储中副本存放、补全、节点选择方法及管理系统

摘要

本发明涉及大数据存储中副本存放、补全、节点选择方法及管理系统，该节点选择方法为：根据各数据节点服务器的实时状态信息及历史故障信息选取副本存放节点的评价指标，其中将数据发生故障的概率的预测值列入评价指标，确定各个评价指标的权值，根据权值计算得到数据节点进行副本存储。基于上述节点选择方法，按照三副本方案选择合适的节点进行副本存放。在副本故障需要补全时，先按照故障节点所在的机架上的活动节点进行副本补全，当副本故障节点所在的机架不能正常工作时，选择故障率相近的活动节点进行副本补全。本发明在不影响副本安全的情况下有效提高存储时的写入效率和负载均衡程度，从根本上解决集群长时间运行以后需要负载均衡的问题。

主权项

1.大数据存储中副本存放节点的选择方法，其特征在于，该方法为：根据各数据节点服务器的实时状态信息及历史故障信息选取副本存放节点的评价指标，包括磁盘使用率、磁盘I/O负载率、CPU负载率、内存负载率、读写任务连接率及节点故障率，所述读写任务连接率为当前服务器读写任务的连接数与文件系统允许的读写任务最大连接数的比值；确定各个评价指标的权值，然后根据以下公式计算出的参考值来选择数据节点作为副本存放位置：/nω＝λ₀ω_{disk_used}+λ₁ω_{disk_io}+λ₂ω_cpu+λ₃ω_mem+λ₄ω_process+λ₅ω_fr/n其中，ω为数据节点选择参考值，ω_{disk_used}、ω_{disk_io}、ω_cpu、ω_mem、ω_process、ω_fr分别为磁盘使用率、磁盘I/O负载率、CPU负载率、内存负载率、读写任务连接率和节点故障率，λ₀+λ₁+λ₂+λ₃+λ₄+λ₅＝1，λ₀、λ₁、λ₂、λ₃、λ₄、λ₅、ω_{disk_used}、ω_{disk_io}、ω_cpu、ω_mem、ω_process、ω_fr∈[0,1]。/n