[发明专利]一种快速扫描HBase分区表的方法、装置、系统

说明书

本申请实施例公开一种快速扫描HBase分区表的方法、装置、系统，方法包括：对HBase数据表进行预分区以得到若干个物理分区；按照物理分区的数量对Spark的RDD进行分区，得到与物理分区的数量相同的逻辑分区，并建立与物理分区之间的映射关系以使得每个逻辑分区映射到对应的物理分区；在Spark运行时，为每个物理分区分配一个SCAN扫描对象以实现对HBase数据表的并行扫描。本申请针对HBase数据表进行预分区，并为每个HBase数据表的预分区建立一个SCAN扫描对象，从而可以并行读取每个分区的数据，快速扫描HBase的分区表。

技术领域

本发明属于计算机技术领域，尤其涉及一种快速扫描HBase分区表的方法、装置、系统。

背景技术

HBase作为分布式的NoSQL数据库，底层采用KV的存储结构，其中的Key键在HBase中是按照顺序存储的，合理地设置主键索引可以快速地实现单条数据的查询需求。在实际应用中，除了查询单条数据的应用场景外，用户可能还需要扫描整个HBase的数据表，实现表扫描的操作，但是索引对于表扫描操作起不到加速辅助的作用。

通常情况下，表扫描操作需要从开始到结尾实现全表的过滤查询需求，可能涉及到指标的Count统计、Sum求和等具体的聚合操作，也可能涉及到全表数据的逐条读取操作。HBase目前主要支持GET和SCAN两种操作从数据表中获取数据，GET对象用于获取单条记录数据，SCAN扫描对象用于扫描指定范围内的数据。

目前，Spark客户端在读取HBase数据表中数据的时候，主要是以扫描的方式获取表中数据，通常只是生成一个SCAN扫描对象，但是该SCAN扫描对象却需要按照顺序逐步地扫描所有的HBase的数据表的Region分区，导致扫描速度很缓慢。因此目前的方法不能够很好地使用Spark的分布式处理能力，也没有充分地使用好HBase中数据表分区Region的理念。

发明内容

为了解决现有技术的问题，本发明提出了一种快速扫描HBase分区表的方法、装置、系统，本方法在扫描HBase中的预分区表时，Spark客户端可以针对每个Region分区建立一个SCAN扫描对象，然后并行地去读取每个分区的数据，快速扫描HBase的分区表。

本发明实施例提供的具体技术方案如下：

第一方面，本发明提供一种快速扫描HBase分区表的方法，所述方法包括：

对HBase数据表进行预分区以得到若干个物理分区；

按照所述物理分区的数量对Spark的RDD进行分区，得到与所述物理分区的数量相同的逻辑分区，并建立与所述物理分区之间的映射关系以使得每个逻辑分区映射到对应的物理分区；

在Spark运行时，为每个所述物理分区分配一个SCAN扫描对象以实现对HBase数据表的并行扫描。

优选的，所述方法还包括：

为每个所述逻辑分区创建一个任务；

运行所述任务以对相应的SCAN扫描对象的扫描结果进行处理从而实现对HBase数据表的并行处理。

优选的，对HBase数据表进行预分区以得到若干个物理分区具体包括：

计算待处理的数据量；

按照所述数据量对所述HBase数据表进行均分，得到若干个连续的物理分区。

优选的，按照所述数据量对所述HBase数据表进行均分，得到若干个连续的物理分区具体包括：

按照HBase数据表的行键所标识的范围，对HBase数据表进行均分，得到若干个连续的物理分区。优选的，对HBase数据表进行预分区以得到若干个物理分区具体包括：