[发明专利]一种读写请求的均衡方法及装置

说明书

本发明实施例提供了一种读写请求的均衡方法及装置，利用预设聚类算法，根据各region的请求量信息，对region进行聚类处理，得到预设数量的region聚类簇；再根据各region聚类簇所包含的region，确定针对各Region Server的region迁移信息；将该迁移信息发送至Hbase系统。通过采用预设聚类算法对region进行聚类，根据聚类结果确定region迁移信息，以便基于该迁移信息动态将各region聚类簇中的region均衡分配到各Region Server，实现及时、快速、准确地均衡Region Server的读写请求量，从而提高开源数据库HBase的数据读写响应效率。

技术领域

本发明涉及分布式数据存储技术领域，尤其涉及一种读写请求的均衡方法及装置。

背景技术

目前，随着移动互联网的快速发展，以及大数据时代的到来，未来的数据将会继续成爆炸式增长，数据存储和访问量极具增加，为了满足对数据的读写操作，采用开源数据库Hbase进行数据存储，响应客户端的读请求和写请求。其中，Hbase是一个基于分布式的、面向列的、可伸缩的、主要用于非结构化数据存储，Hbase已经成为海量数据存储的有效解决方案。

其中，Hbase作为分布式K-V存储数据库，有着优秀的写入和读出效率，依赖于内存中划分的memstore，blockcache。Region Server是开源数据库Hbase中最主要的组件，负责table数据的实际读写，管理数据分区region，region是Hbase数据存储和管理的基本单位。Hbase表中包括有多个region，每个region中均存储一定的数据，集群中的Region Server可能分配到一个或多个region。写请求会消耗Memstore，读请求会消耗BlockCache，Memstore和BlockCache共享Hbase JVM内存。Hbase读写请求最终均通过Region进行处理，Region读写会共享JVM内存。其中，针对目标数据的读请求和写请求，在经过region定位到对应的Region Server，再由Region Server实现数据的读写操作。

然而，由于每个region上的数据请求量的不同，可能会出现一个或多个region热点，该region热点即为读写请求量超过一定阈值的region，如果多数region热点集中在某些Region Server上，这样势必将影响该Region Server的数据处理效率，大大影响整个集群的稳定性和可用性，从而导致Hbase的读写响应效率低。因此，需要对Region Server内region读写请求量进行均衡，当前，主要是基于相关人员在干预界面上手动输入region迁移信息，触发Hbase系统基于该region迁移信息对region进行迁移，从而达到均衡RegionServer读写请求量的目的。

由此可知，现有的关于Region Server的读写请求量的均衡方法存在一定滞后性、均衡效率低、均衡准确度差的问题。

发明内容

本发明实施例的目的是提供一种读写请求的均衡方法及装置，以解决现有的关于Region Server的读写请求量的均衡方法存在一定滞后性、均衡效率低、均衡准确度差的问题。

为了解决上述技术问题，本发明实施例是这样实现的：

第一方面，本发明实施例提供了一种读写请求的均衡方法，包括：

获取Hbase系统中各Region Server下的多个region的请求量信息，其中，所述请求量信息包括：读请求量信息和写请求量信息；

利用预设聚类算法，根据所述请求量信息，对所述region进行聚类处理，得到预设数量的region聚类簇，其中，每个所述region聚类簇对应于一个region类别；

根据各所述region聚类簇，确定针对各所述Region Server的region迁移信息；