[发明专利]一种快速扫描HBase分区表的方法、装置、系统

权利要求书

1.一种快速扫描HBase分区表的方法，其特征在于，所述方法包括：

对HBase数据表进行预分区以得到若干个物理分区；

按照所述物理分区的数量对Spark的RDD进行分区，得到与所述物理分区的数量相同的逻辑分区，并建立与所述物理分区之间的映射关系以使得每个逻辑分区映射到对应的物理分区；

在Spark运行时，为每个所述物理分区分配一个SCAN扫描对象以实现对HBase数据表的并行扫描。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

为每个所述逻辑分区创建一个任务；

运行所述任务以对相应的SCAN扫描对象的扫描结果进行处理从而实现对HBase数据表的并行处理。

3.根据权利要求1所述的方法，其特征在于，对HBase数据表进行预分区以得到若干个物理分区具体包括：

计算待处理的数据量；

按照所述数据量对所述HBase数据表进行均分，得到若干个连续的物理分区。

4.根据权利要求3述的方法，其特征在于，按照所述数据量对所述HBase数据表进行均分，得到若干个连续的物理分区具体包括：

按照HBase数据表的行键所标识的范围，对HBase数据表进行均分，得到若干个连续的物理分区。

5.根据权利要求1所述的方法，其特征在于，对HBase数据表进行预分区以得到若干个物理分区具体包括：

根据历史数据变化趋势对HBase数据表进行划分，得到若干个连续的物理分区。

6.根据权利要求1～5任意一项所述的方法，其特征在于，为每个所述物理分区分配一个SCAN扫描对象具体包括：

获取每个物理分区的开始主键和结束主键；

根据每个物理分区的开始主键和结束主键，生成具有相同的开始主键和结束主键的SCAN扫描对象。

7.一种快速扫描HBase分区表的装置，其特征在于，包括：

第一分区模块，用于对HBase数据表进行预分区以得到若干个物理分区；

第二分区模块，用于按照所述物理分区的数量对Spark的RDD进行分区，得到与所述物理分区的数量相同的逻辑分区；

映射模块，用于建立与所述物理分区之间的映射关系以使得每个逻辑分区映射到对应的物理分区；

第一分配模块，用于在Spark运行时，为每个所述物理分区分配一个SCAN扫描对象以实现对HBase数据表的并行扫描。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

第二分配模块，用于为每个所述逻辑分区创建一个任务；

运行模块，用于运行所述任务以对相应的SCAN扫描对象的扫描结果进行处理从而实现对HBase数据表的并行处理。

9.根据权利要求7所述的装置，其特征在于，所述第一分区模块具体包括：

计算模块，用于计算待处理的数据量；

划分模块，用于按照所述数据量对所述HBase数据表进行均分，得到若干个连续的物理分区。

10.一种计算机系统，其特征在于，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令，所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

对HBase数据表进行预分区以得到若干个物理分区；

按照所述物理分区的数量对Spark的RDD进行分区，得到与所述物理分区的数量相同的逻辑分区，并建立与所述物理分区之间的映射关系以使得每个逻辑分区映射到对应的物理分区；

在Spark运行时，为每个所述物理分区分配一个SCAN扫描对象以实现对HBase数据表的并行扫描。