[发明专利]基于权重因子的HadoopHDFS数据块分布优化算法在审
| 申请号： | 201611232172.7 | 申请日： | 2016-12-28 |
| 公开（公告）号： | CN106790578A | 公开（公告）日： | 2017-05-31 |
| 发明（设计）人： | 梁猛;陈彬 | 申请（专利权）人： | 梁猛 |
| 主分类号： | H04L29/08 | 分类号： | H04L29/08 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 523000 广东省*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及移动通信网络大数据优化和规划技术领域，具体涉及一种基于权重因子的Hadoop HDFS数据块分布优化算法，它采用如下的方法步骤步骤一采用如下的选择策略chooseLocalStorage(本地)到chooseLocalRack(本机架)到chooseRemoteRack(远端机架)最后到chooseRandom(全集群)；步骤二在步骤一的基础上，在现有技术的chooseRandom算法的基础上，引入一个权重来调整随机数在不同DataNode上的分布策略，将原有chooseRandom算法改造成如下算法；采用一种实时数据块分布算法，对HDFS的副本放置策略做出适当的优化，使数据落地过程中始终达到集群数据块负载均衡，并且尽量减少此过程带来的额外资源消耗。 | ||
| 搜索关键词： | 基于 权重 因子 hadoophdfs 数据 分布 优化 算法 | ||
【主权项】：
基于权重因子的Hadoop HDFS数据块分布优化算法，其特征在于：它采用如下的方法步骤：步骤一：采用如下的选择策略：chooseLocalStorage(本地)到chooseLocalRack(本机架)到chooseRemoteRack(远端机架)最后到chooseRandom(全集群)；步骤二：在步骤一的基础上，在现有技术的chooseRandom算法的基础上，引入一个权重来调整随机数在不同DataNode上的分布策略，将原有chooseRandom算法改造成如图5所示算法：步骤三：步骤二中的陈述的权重是指：把可用存储容量作为随机选择的一个权重因子，节点权重＝1+(权重系数*存储容量可用百分比)；因而可用容量百分比大的节点就更容易被选择作为存储节点。步骤四：步骤三中所陈述的权重可由空间利用率来决定，通过权重分配算法进行计算，其线性调整权重采用如下的计算公式：权重的大小和剩余空间利用率成线性关系：W＝1+(r*c)。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于梁猛，未经梁猛许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201611232172.7/，转载请声明来源钻瓜专利网。
