[发明专利]一种云存储下元数据服务的负载均衡方法及系统无效

专利信息
申请号: 201410019297.6 申请日: 2014-01-16
公开(公告)号: CN103763365A 公开(公告)日: 2014-04-30
发明(设计)人: 闫冬冬;颜秉珩;张俊;董青;常建忠;罗登亮;栗丽霞 申请(专利权)人: 浪潮(北京)电子信息产业有限公司
主分类号: H04L29/08 分类号: H04L29/08
代理公司: 北京安信方达知识产权代理有限公司 11262 代理人: 王丹;栗若木
地址: 100085 北京市海*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 存储 数据 服务 负载 均衡 方法 系统
【说明书】:

技术领域

发明涉及计算机通信领域,尤其涉及一种云存储下元数据服务的负载均衡方法及系统。

背景技术

随着计算机技术的发展和应用的普及,信息存储容量成爆炸性地增长,现有网络存储系统已无法满足人们对于存储的需要;对象存储(Object-Based Storage,OBS)技术应运而生,它利用现有的处理技术、网络技术和存储组件,可以通过一种简单便利的方式来获得前所未有的可扩展性和高吞吐量,成为下一代网络存储的主流。

为了获得对象存储系统的高性能和高可伸缩性,避免瓶颈是非常重要的,虽然文件元数据的大小相对于对象数据来说只占很小的空间,然而由于文件元数据访问非常频繁,因此元数据的访问是个潜在的瓶颈,管理好元数据是获取存储系统高性能和高伸缩性的前提,随着对象存储系统规模的增大以及文件元数据访问流行度的增加,系统中需要有多个元数据服务器(Metadata Server,MDS),它们构成MDS集群;MDS集群要提供高性能、可扩展的元数据服务,因此它们之间必须负载均衡,以防任意一个MDS成为系统访问的瓶颈。

当前的负载的定义有多种标准,对于存放数据的设备来说,由于不同的应用的性能可能会受限于不同的组件,单独从一个方面来衡量设备的负载是不合适的,因此,对一个设备负载的评估要考虑多种因素:如请求队列长度、CPU、IO处理能力、网卡速度等,任何一个组件阻塞都有可能成为系统的瓶颈,因此,将这些参数通过计算系数加权成负载权值来衡量一个设备的负载,然而,这种方法的计算系数的选择非常困难,如果系数选择不适当,反而会使系统的性能更差。当前大部分都是对存放数据的设备的负载均衡进行的研究,存放数据的设备的负载情况与MDS集群的负载情况有很大的差别,很少研究MDS集群的负载情况。

对于MDS集群来说,它仅仅为用户提供文件元数据请求服务,文件元数据的大小很小,请求率很高,但是如何实现MDS集群的负载均衡,现有技术中还没有一种可靠的解决方案。

发明内容

本发明提供一种云存储下元数据服务的负载均衡方法及系统,以解决上述问题。

本发明提供一种云存储下元数据服务的负载均衡方法。上述方法包括以下步骤:

通过静态映射策略,将系统中的文件元数据均匀的分布到不同的MDS中;

获取MDS集群中每个MDS的请求响应时间与整个MDS集群的平均响应时间的差值并将所述差值与预设值进行比较;

若所述差值大于或等于所述预设值,则依据动态负载均衡策略进行文件元数据迁移。

本发明还提供一种云存储下元数据服务的负载均衡系统,包括:静态映射模块、获取比较模块、动态负载均衡模块;所述静态映射模块通过所述获取比较模块与所述动态负载均衡模块相连;

所述静态映射模块,用于通过静态映射策略,将系统中的文件元数据均匀的分布到不同的MDS中;

所述获取比较模块,用于获取MDS集群中每个MDS的请求响应时间与整个MDS集群的平均响应时间的差值并将所述差值与预设值进行比较;

所述动态负载均衡模块,用于若所述差值大于或等于所述预设值,则依据动态负载均衡策略进行文件元数据迁移。

通过实施本发明的技术方案,通过对文件名的哈希,将文件元数据均匀的分配在不同的MDS上,从而实现MDS集群中的MDS之间的静态负载均衡;然而由于应用负载随时变化,每个文件元数据被访问的频率(热度)差别很大,因此可能会导致某个MDS上的负载过重,此时启用动态负载均衡,将负载重的MDS上的部分文件元数据转移到负载轻的MDS上。

附图说明

此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:

图1所示为本发明的实施例1的数据请求到达率相同情况下静态负载均衡时的MDS的响应时间图;

图2所示为本发明的实施例2的元数据请求服从zipf分布时的MDS的响应时间图;

图3所示为本发明的实施例3的在与图2相同的请求到达率分布相同的情况下,采用动态负载均衡后的结果图;

图4所示为本发明的实施例4的云存储下元数据服务的负载均衡方法处理流程图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。

本发明提供了一种云存储下元数据服务的负载均衡方法,包括以下步骤:

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浪潮(北京)电子信息产业有限公司,未经浪潮(北京)电子信息产业有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201410019297.6/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top