[发明专利]一种基于HBase的分区数据调整方法、系统及终端

说明书

本发明公开了一种基于HBase的分区数据调整方法、系统及终端，所述方法包括：搜集HBase分区内的分区数据，计算所述分区数据的倾斜程度；根据所述倾斜程度、行键所属分区的调整记录、行键相关的历史分区数据倾斜及整体分区倾斜确定行键的目标调整分区，并生成目标调整分区键；根据所述目标调整分区键对待调整行键进行修改，在所述待调整行键前添加所述目标调整分区键，完成行键分区的动态调整。本发明通基于分区内数据量的大小进行动态计算，得到分区数据量的变化，动态调整行键，对分区数据进行动态分配，同时考虑相同行键尽可能归属到相同的分区，既保证了数据查询的效率，又降低了分区数据倾斜情况，提高了系统资源利用率。

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种基于HBase的分区数据调整方法、系统及终端。

背景技术

HBase是一个分布式的、面向列的开源数据库,是一个适合于非结构化数据存储的数据库。

用户在建立HBase表时先根据业务情况预估数据量的大小，根据数据量的大小及HBase集群的数量进行索引即行键的设计，通过行键的定义决定分区键的设计(决定行键的分区归属范围)，最终完成预规划分区的设计。

这样基于预测未来的数据量大小虽然能保证短时间内的分区数据量平衡，但是其依赖对数据量的提前预测，预测准备度不能保证，一旦预测不准确，往往会导致预分区的失效，导致分区的数据倾斜问题。

因此，现有技术还有待于改进和发展。

发明内容

本发明的主要目的在于提供一种基于HBase的分区数据调整方法、系统及终端，旨在解决现有技术中分区的数据倾斜问题。

为实现上述目的，本发明提供一种基于HBase的分区数据调整方法，所述基于HBase的分区数据调整方法包括如下步骤：

搜集HBase分区内的分区数据，计算所述分区数据的倾斜程度；

根据所述倾斜程度、行键所属分区的调整记录、行键相关的历史分区数据倾斜及整体分区倾斜确定行键的目标调整分区，并生成目标调整分区键；

根据所述目标调整分区键对待调整行键进行修改，在所述待调整行键前添加所述目标调整分区键，完成行键分区的动态调整。

可选地，所述的基于HBase的分区数据调整方法，其中，所述搜集HBase分区内的分区数据，计算所述分区数据的倾斜程度，之前还包括：

在存储数据的过程中，基于工作分区组中每个分区数据量的大小，将属于工作分区内的行键数据分配至预留分区内，并将预留分区调整为工作分区组，以将工作分区组内行键数据进行动态均匀分布。

可选地，所述的基于HBase的分区数据调整方法，其中，在一定时间间隔后，将所有预留分区调整为工作分区，动态行键调整包括：

基于行键在动态调整前和调整后所归属的分区之间的数据量的大小进行行键调整，控制相同行键的数据在已分配分区中分配；

或者，基于工作分区组中每个分区数据量的大小进行行键调整，控制所有RegionServer上的数据分布均衡；

分配后的行键动态调整到行键工作分区内或工作分区组中其他工作分区。

可选地，所述的基于HBase的分区数据调整方法，其中，所述搜集HBase分区内的分区数据，计算所述分区数据的倾斜程度，包括：

输入分区数据表，输出每个分区内行键的列数量。

可选地，所述的基于HBase的分区数据调整方法，其中，所述根据所述倾斜程度、行键所属分区的调整记录、行键相关的历史分区数据倾斜及整体分区倾斜确定行键的目标调整分区，并生成目标调整分区键，包括：