[发明专利]一种基于分布式集群的数据放置方法

摘要

本发明公开了一种基于分布式集群的数据放置方法，针对分布式集群中节点的负载情况、计算节点计算能力及大量数据移动会影响运算性能的特点，把三个因素有效的结合起来计算出数据放置的评价值，然后根据评价值来选取节点。此方法带来的效果首先是可以实现数据放置的负载均衡，在数据读写时增加并行度；其次是能很好的利用节点的计算能力，根据计算能力分配相应的计算任务，减少运行时间；最后是实现良好的传输性能。数据被存储在就近于计算节点可以使数据传输最小化，提高效率。

主权项

一种基于分布式集群的数据放置方法，其特征在于：针对分布式集群中节点的负载情况、计算节点计算能力及大量数据移动会影响运算性能的特点，把三个因素有效的结合起来计算出数据放置的评价值，然后根据评价值来选取节点，其中：分布式集群中节点的负载情况是指该节点能放置数据的能力，它反比于Datanode存放的数据块数，根据该节点中存放的数据块数决定的，通过获取特定Datanode上已经存放的数据块数量来表示该Datanode上当前的负载；计算节点计算能力是根据硬件特性来评估的；存放多个数据副本的存储节点的选取要将副本放置于不同的机架上，而且选取距离当前节点最近的机架。