[发明专利]基于Lucene的HBASE二级索引方法、装置及计算机设备

说明书

本发明提供了一种基于Lucene的HBASE二级索引方法、装置及计算机设备，所述方法包括，将从数据源加载的原始数据写入HBase数据库内；对写入HBase数据库内的原始数据做预定义索引处理，得到索引数据；将预定义索引处理得到的索引数据写入Lucene搜索引擎内，建立索引数据与HBase表主键RowKey对应的一个HashMap表，即二级索引表；根据本地索引、全局索引将客户端输入的查询条件解析为对应的二级索引数据，Lucene搜索引擎获取到解析的对应二级索引到Lucene的二级索引表中获取HBase的主键RowKey，如果RowKey存在，就根据二级索引表拿到的RowKey去Hbase中获取对应的原始数据，如果二级索引表中对应的RowKey不存在则结束查询，不去扫描HBase库表中的数据。本方案能够提高数据查询速度，减少网络资源消耗。

技术领域

本发明涉及索引方法、装置及计算机设备，尤其是指一种基于Lucene的HBASE二级索引方法、装置及计算机设备。

背景技术

大数据时代，数据呈几何方式增长，海量的数据每天以几TB甚至几PB的量增长。HDFS解决了海量存储的问题，但是随之而来的多维度的海量数据的统计却是个难题。目前传统的通过mapreduce、hive、pig、spark的统计消耗资源较大，在实时性、及处理效率上存在很大的缺陷。如何解决此类问题成为难点。HBase是运行在HDFS的一个分布式、高可靠、高性能的面向列的开源NoSQL数据库。通过主键RowKey可以毫秒级响应查询，但是HBase对各个字段进行模糊查询、多字段组合查询、总量统计等存在一定的延时及性能瓶颈。

发明内容

本发明所要解决的技术问题是：提供一种基于Lucene的HBASE二级索引方法、装置及计算机设备，旨在提高数据的查询效率。

为了解决上述技术问题，本发明采用的技术方案为：一种基于Lucene的HBASE二级索引方法，包括以下步骤，

将从数据源加载的原始数据写入HBase数据库内；

对写入HBase数据库内的原始数据做预定义索引处理，得到索引数据，所述预定义索引处理包括本地索引处理及全局索引处理，本地索引用于对复杂条件查询的解析，全局索引用于最终写入到Lucene搜索引擎中；

将预定义索引处理得到的索引数据写入Lucene搜索引擎内，建立索引数据与HBase表主键RowKey对应的一个HashMap表，即二级索引表；

根据本地索引、全局索引将客户端输入的查询条件解析为对应的二级索引数据，Lucene搜索引擎获取到解析的对应二级索引到Lucene的二级索引表中获取HBase的主键RowKey，如果RowKey存在，就根据二级索引表拿到的RowKey去Hbase中获取对应的原始数据，如果二级索引表中对应的RowKey不存在则结束查询，不去扫描HBase库表中的数据。

进一步的，在根据二级索引表拿到的RowKey去Hbase中获取对应的原始数据后，将原始数据返回给客户端。

进一步的，基于Lucene的HBASE二级索引方法还包括，判断数据表是否有更新，若有，则更新二级索引表。

进一步的，所述更新二级索引表包括，增量更新本地索引、增量更新全局索引、增量更新Lucene索引。

本发明还提供了一种基于Lucene的HBASE二级索引装置，包括，

数据写入模块，用于将从数据源加载的原始数据写入HBase数据库内；

索引处理模块，用于对写入HBase数据库内的原始数据做预定义索引处理，得到索引数据，所述预定义索引处理包括本地索引处理及全局索引处理，本地索引用于对复杂条件查询的解析，全局索引用于最终写入到Lucene搜索引擎中；