[发明专利]一种数据库负载均衡方法与装置

说明书

本发明公开了一种数据库负载均衡方法与装置包括：在数据库主节点根据负载分布情况生成记载有将Region从源Region服务器迁移到目标Region服务器的迁移计划；根据迁移计划通过远程过程调用服务在源Region服务器中下线Region，并在目标Region服务器中上线Region；将源Region服务器的块缓存中的缓存数据移动到目标Region服务器的块缓存中；在数据库的元表上将Region所在的服务器从源Region服务器修改为目标Region服务器。本发明能够针对不同的Region迁移项目来优化缓存，减少缓存资源浪费并缩短Region迁移导致的耗时增加。

技术领域

本发明涉及计算机领域，更具体地，特别是指一种数据库负载均衡方法与装置。

背景技术

随着互联网的迅猛发展，利用传统关系型数据库解决大规模数据存在的问题引起广泛关注，NoSQL(Not Only SQL,非关系型数据库)研究成为热点。互联网产生的数据量增长迅速，对于海量数据的不断增长，要求系统具有良好的横向扩展性，集群技术能够解决此类问题。集群之间能资源共享，控制任务分发调度性能，并且随着数据的增加进行扩展。

Apache HBase是开源分布式的NoSQL数据库。HBase作为一个分布式列存储数据库，因其高可用性、可扩展性等特征而被广泛应用。HBase和Hadoop无缝集成，利用HDFS(Hadoop分布式文件系统)实现数据的底层分布式存储。HBase数据库是列式存储的数据库，表的列数可在建表后动态增加，对于无实际值的列不进行存储，节省空间。

随着大量数据的注入，HBase Region数目的增加或不均等地对Region Server(Region服务器)访问，HBase通过负载均衡算法保证尽量均等地将HBase Region分配给每个Region Server。

如果Region Server存在负载不均衡，那么部分节点的堵塞情况就很容易发生，进而影响整体性能。相对于传统数据库的基本操作有增、删、改、查，HBase中的数据只有读和写两种。因为负载均衡机制中涉及到数据节点Region的位置变迁，而读写过程都会涉及到对应的Region(区域)，所以Region的变迁对数据的读写性能有一定的影响。

在HBase中读取数据时，会先到Zookeeper(Hadoop的子项目)里面查找相应数据存在的ROOT表的地址。通过数据在ROOT表中地址找到META表(元表)，根据META表中的键值对找到改Region所在的Region Server，然后客户端与该Region Server建立连接通道。通过分析被请求数据的特征，最终找到数据所在Region，然后会先访问BlockCache(块缓存)中是否存在数据，如果存在，则直接读取。如果BlockCache中没有，就到文件系统中的HFile中查询数据，查询到数据后还要将数据缓存到BlockCache中。

在HBase集群处理读请求的过程中，BlockCache作为缓存机制，发挥了非常重要的作用。实验证明，在物理节点的内存中读取数据的速度比直接从磁盘或者通过网络从其他机器磁盘读取数据的速度快很多。

在负载均衡操作中有一个会影响集群性能的问题，Region在两个Region Server之间移动的时候，属于该Region的读缓存数据会在原来的Region Server上被BlockCache机制清除，迁移到目的Region Server后，在目的Region Server的BlockCache中初始状态为空，当同样的数据在新的Region Server上被访问请求的时候，集群必须重新从磁盘读取数据，这个重新读取数据就会耗费更多的资源和响应时间。

针对现有技术中数据库均衡负载会导致资源浪费、响应时间延长的问题，目前尚未有有效的解决方案。

发明内容