[发明专利]一种云存储下元数据服务的负载均衡方法及系统无效
申请号: | 201410019297.6 | 申请日: | 2014-01-16 |
公开(公告)号: | CN103763365A | 公开(公告)日: | 2014-04-30 |
发明(设计)人: | 闫冬冬;颜秉珩;张俊;董青;常建忠;罗登亮;栗丽霞 | 申请(专利权)人: | 浪潮(北京)电子信息产业有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08 |
代理公司: | 北京安信方达知识产权代理有限公司 11262 | 代理人: | 王丹;栗若木 |
地址: | 100085 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 存储 数据 服务 负载 均衡 方法 系统 | ||
技术领域
本发明涉及计算机通信领域,尤其涉及一种云存储下元数据服务的负载均衡方法及系统。
背景技术
随着计算机技术的发展和应用的普及,信息存储容量成爆炸性地增长,现有网络存储系统已无法满足人们对于存储的需要;对象存储(Object-Based Storage,OBS)技术应运而生,它利用现有的处理技术、网络技术和存储组件,可以通过一种简单便利的方式来获得前所未有的可扩展性和高吞吐量,成为下一代网络存储的主流。
为了获得对象存储系统的高性能和高可伸缩性,避免瓶颈是非常重要的,虽然文件元数据的大小相对于对象数据来说只占很小的空间,然而由于文件元数据访问非常频繁,因此元数据的访问是个潜在的瓶颈,管理好元数据是获取存储系统高性能和高伸缩性的前提,随着对象存储系统规模的增大以及文件元数据访问流行度的增加,系统中需要有多个元数据服务器(Metadata Server,MDS),它们构成MDS集群;MDS集群要提供高性能、可扩展的元数据服务,因此它们之间必须负载均衡,以防任意一个MDS成为系统访问的瓶颈。
当前的负载的定义有多种标准,对于存放数据的设备来说,由于不同的应用的性能可能会受限于不同的组件,单独从一个方面来衡量设备的负载是不合适的,因此,对一个设备负载的评估要考虑多种因素:如请求队列长度、CPU、IO处理能力、网卡速度等,任何一个组件阻塞都有可能成为系统的瓶颈,因此,将这些参数通过计算系数加权成负载权值来衡量一个设备的负载,然而,这种方法的计算系数的选择非常困难,如果系数选择不适当,反而会使系统的性能更差。当前大部分都是对存放数据的设备的负载均衡进行的研究,存放数据的设备的负载情况与MDS集群的负载情况有很大的差别,很少研究MDS集群的负载情况。
对于MDS集群来说,它仅仅为用户提供文件元数据请求服务,文件元数据的大小很小,请求率很高,但是如何实现MDS集群的负载均衡,现有技术中还没有一种可靠的解决方案。
发明内容
本发明提供一种云存储下元数据服务的负载均衡方法及系统,以解决上述问题。
本发明提供一种云存储下元数据服务的负载均衡方法。上述方法包括以下步骤:
通过静态映射策略,将系统中的文件元数据均匀的分布到不同的MDS中;
获取MDS集群中每个MDS的请求响应时间与整个MDS集群的平均响应时间的差值并将所述差值与预设值进行比较;
若所述差值大于或等于所述预设值,则依据动态负载均衡策略进行文件元数据迁移。
本发明还提供一种云存储下元数据服务的负载均衡系统,包括:静态映射模块、获取比较模块、动态负载均衡模块;所述静态映射模块通过所述获取比较模块与所述动态负载均衡模块相连;
所述静态映射模块,用于通过静态映射策略,将系统中的文件元数据均匀的分布到不同的MDS中;
所述获取比较模块,用于获取MDS集群中每个MDS的请求响应时间与整个MDS集群的平均响应时间的差值并将所述差值与预设值进行比较;
所述动态负载均衡模块,用于若所述差值大于或等于所述预设值,则依据动态负载均衡策略进行文件元数据迁移。
通过实施本发明的技术方案,通过对文件名的哈希,将文件元数据均匀的分配在不同的MDS上,从而实现MDS集群中的MDS之间的静态负载均衡;然而由于应用负载随时变化,每个文件元数据被访问的频率(热度)差别很大,因此可能会导致某个MDS上的负载过重,此时启用动态负载均衡,将负载重的MDS上的部分文件元数据转移到负载轻的MDS上。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1所示为本发明的实施例1的数据请求到达率相同情况下静态负载均衡时的MDS的响应时间图;
图2所示为本发明的实施例2的元数据请求服从zipf分布时的MDS的响应时间图;
图3所示为本发明的实施例3的在与图2相同的请求到达率分布相同的情况下,采用动态负载均衡后的结果图;
图4所示为本发明的实施例4的云存储下元数据服务的负载均衡方法处理流程图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
本发明提供了一种云存储下元数据服务的负载均衡方法,包括以下步骤:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浪潮(北京)电子信息产业有限公司,未经浪潮(北京)电子信息产业有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410019297.6/2.html,转载请声明来源钻瓜专利网。
- 上一篇:分析心血管病症的方法及其用途
- 下一篇:一种防袭刺猬衣
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置