[发明专利]Hadoop异构集群中的数据分配策略

权利要求书

1.一种Hadoop异构集群中的数据分配策略，其特征在于，包括以下步骤：

S01：测试并存储各节点处理不同规模数据的执行时间，并转换为静态性能参考指标；

S02：监控并存储各节点的存储负载和各节点间的网络传输速度，并转换为动态性能参考指标；

S03：根据预先设置的各性能因素的权重，利用计算模块计算出各节点应分配的数据块数目，并通过数据分配服务器进行数据块-节点的映射和实施分配传输。

2.根据权利要求1所述的Hadoop异构集群中的数据分配策略，其特征在于，所述步骤S01具体为：

S11：在每个节点上分别使用不同规模的数据块进行作业测试，并取其执行时间的加权平均值作为各节点的参考执行时间；

S12：利用参考执行时间与执行速率成反比的关系，计算出各节点的执行速率；

S13：分别计算各节点的执行速率占整个集群所有节点的执行速率之和的比例，作为静态性能参考指标。

3.根据权利要求2所述的Hadoop异构集群中的数据分配策略，其特征在于：所述静态性能参考指标的计算公式为，Timei=Σk=1mTimeik*weightkm,i=1,2,···,node,]]>Ratei=1Timei,i=1,2,···,node,]]>其中，Time_i表示第i个节点的参考执行时间，m表示测试用的数据块的规模种类的数量，Time_ik表示第i个节点对第k类测试用的数据块的执行时间，weight_k表示第k类测试用的数据块的权重，node表示集群中节点的个数，Rate_i表示第i个节点的执行速率，Capability_i表示第i个节点的执行能力比率，即第i个节点的静态性能参考指标。

4.根据权利要求1所述的Hadoop异构集群中的数据分配策略，其特征在于：所述动态性能参考指标包括各节点间的网络传输速率指标和各节点的负载处理能力指标，所述各节点间的网络传输速率指标是当前数据上传的节点与某节点的网络传输速率占当前数据上传的节点与集群中其他所有节点的网络传输速率之和的比例；所述各节点的负载处理能力指标是当前数据上传的节点的负载处理能力占整个集群中所有节点的负载处理能力之和的比例。