[发明专利]适用于分布式内存数据库的在线负载均衡方法有效
申请号: | 201710693248.4 | 申请日: | 2017-08-14 |
公开(公告)号: | CN107480254B | 公开(公告)日: | 2021-05-11 |
发明(设计)人: | 陈海波;陈榕;臧斌宇;管海兵 | 申请(专利权)人: | 上海交通大学 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F9/50 |
代理公司: | 上海汉声知识产权代理有限公司 31236 | 代理人: | 郭国中 |
地址: | 200240 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 适用于 分布式 内存 数据库 在线 负载 均衡 方法 | ||
本发明提供了一种适用于分布式内存数据库的在线负载均衡方法,该方法先使用基于数据备份位置的贪心算法对当前数据库计算一个新的划分,以使新划分下每台服务器接受的请求均匀分布,然后通过在线数据迁移将新的数据划分应用在数据库中;在负载均衡过程中,控制端对执行用户请求的服务器进行在线配置。与现有技术相比,本发明能够更快的完成负载均衡,同时对事务请求的执行的影响非常小。
技术领域
本发明涉及一种分布式系统中的负载均衡方法,具体地,涉及一种适用于分布式内存数据库的在线负载均衡方法。
背景技术
在分布式数据库中,在线负载均衡是一种非常重要的技术。针对不同用户的事务请求分布来为数据库寻找一个最优的配置可以达到数据库事务处理的负载均衡。通常需要在线的负载均衡方法,因为负载均衡有时需要在高峰流量时发生;在线即不影响当前的事务执行。随着大数据时代的到来,分布式数据库变得越来越广泛,而这些数据库通常都会提供负载均衡的功能。
在线负载均衡可以使用在线配置来完成,在线配置分为两个步骤,计算新的数据规划以及通过数据迁移来在数据库中应用新的数据规划。数据规划将特定的数据库数据指定给相应的服务器去处理;负载不均衡发生时,通常是由于过多热门的数据被划分到少部分服务器中,导致这些服务器过载而其他服务器空闲。为了解决这个问题,新的数据规划首先会将一部分热门数据指定到空闲服务器中,再通过数据迁移将这些数据实际的搬移到服务器上,从而达到更好的负载均衡。
目前,新的数据规划通过一种贪心的算法来计算,算法会根据当前服务器的负载将热门数据搬移到最空闲的服务器中,直到负载变得均衡。这种方法可以很快的计算出较优的数据规划,然而却会产生很多的数据移动。通常移动的数据越多,则需要花费更长时间来进行数据迁移,而数据迁移会对事务执行的性能带来影响。在线数据迁移的方法有pre-copy和post-copy两种:pre-copy首先将数据从源服务器拷贝到目标服务器中,当数据拷贝完成时将用户的请求转移到目标服务器中执行。和Pre-copy相反,Post-copy首先将事务的数据请求在目标服务器中执行,当事务缺少需要的数据时按需从源服务器中读取数据。这两种数据迁移方法仍会对事务处理的性能带来非常大的影响。在Pre-copy的方法中,由于事务会修改被迁移的数据,被修改的数据需要被重新传输,造成更多的数据传输;同时,正在执行的事务需要记录执行时修改的数据,这也会造成性能影响。在Post-copy中,当事务请求缺少所需要的数据时,直到数据被读取回来事务才能继续执行,因此事务的执行会被中断,这对一些复杂的事务,例如需要访问许多数据的事务来说影响更大。
因此,如何高效的完成在线配置仍然是一个非常重要的问题。
发明内容
本发明的目的是为了克服上述现有技术存在的缺陷而提供一种适用于分布式内存数据库的在线负载均衡方法。
根据本发明的一个方面,提供一种适用于分布式内存数据库的在线负载均衡方法,其特征在于,该方法先使用基于数据备份位置的贪心算法对当前数据库计算一个新的划分,以使新划分下每台服务器接受的请求均匀分布,然后通过在线数据迁移将新的数据划分应用在数据库中;在负载均衡过程中,控制端对执行用户请求的服务器进行在线配置,其特征在于,所述在线配置包括以下步骤:
步骤一,当负载不均衡被系统检测出时,控制端查询当前数据的负载均衡情况,即数据在一段时间内被访问的次数;
步骤二,根据数据的负载均衡情况,控制端遍历热门数据并将其分配到负载比较低的具有热门数据备份的服务器中,如果新的分配能够达到负载均衡,则执行步骤四;
步骤三,当负载仍然不均衡时,控制端再次遍历热门数据并将其分配到负载比较低的服务器中;
步骤四,控制端通知知所有服务器,将事务请求执行时的日志发送到数据的目标服务器中,目标服务器将日志更新到相关数据中;
步骤五,控制端通知目标服务器从数据的原服务器中以及其备份服务其中进行数据读取,并存储在本地内存中;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海交通大学,未经上海交通大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710693248.4/2.html,转载请声明来源钻瓜专利网。