[发明专利]一种改进的Hadoop视频副本存放方法在审
| 申请号： | 201710540166.6 | 申请日： | 2017-07-04 |
| 公开（公告）号： | CN109213628A | 公开（公告）日： | 2019-01-15 |
| 发明（设计）人： | 张超;赵凯 | 申请（专利权）人： | 北京航天长峰科技工业集团有限公司 |
| 主分类号： | G06F11/14 | 分类号： | G06F11/14 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 100854*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种改进的Hadoop视频副本存放方法，在本地机架中存放备份数据时，根据剩余空间占磁盘总容量的比例进行选择，来减少本地机架上的负载不均衡；在跨机架选择数据节点时，不仅考虑剩余空间存储的因素，也考虑网络开销的影响。有效的解决了负载均衡问题，同时根据Hadoop分布式运算的特点，存放在高带宽、大内存、磁盘利用率高的机器的视频数据可以最大化进行智能视频分析处理。 | ||
| 搜索关键词： | 副本存放 剩余空间 视频 存放备份数据 智能视频分析 磁盘利用率 分布式运算 负载均衡 机架选择 视频数据 数据节点 网络开销 不均衡 高带宽 总容量 最大化 磁盘 内存 改进 存储 | ||
【主权项】：
1.一种改进的Hadoop视频副本存放方法，其特征在于：(1)在本地机架中存放备份数据时，根据剩余空间占磁盘总容量的比例进行选择，来减少本地机架上的负载不均衡；(2)在跨机架选择数据节点时，不仅考虑剩余空间存储的因素，也考虑网络开销的影响，根据以下等式选择节点：S(数据节点)＝f(网络开销，剩余存储容量)，其中f(网络开销，剩余存储容量)同时考虑了网络开销与剩余存储容量这两个因素。S(数据节点)是f函数开销最小的数据节点；同时引入变量ɑ，根据以下公式来衡量网络开销以及剩余存储空间所占的比例：S(数据节点)＝ɑN+(1‑ɑ)C(0<＝ɑ<＝1)其中N表示当前数据节点网络可用的连接数占总共连接数的比例，C表示剩余存储空间占总空间的比例，ɑ表示两个因素的权重；根据系统的实际情况，确定ɑ值的大小，当网络开销占主导因素时，ɑ值取较大，反之取较小。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京航天长峰科技工业集团有限公司，未经北京航天长峰科技工业集团有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710540166.6/，转载请声明来源钻瓜专利网。
