[发明专利]一种基于HBase的数据查询方法

说明书

技术领域

本发明涉及数据处理领域，尤指一种基于HBase的数据查询方法。

背景技术

HBase是一个分布式的、面向列的开源数据库，一个结构化数据的分布式存储系统”。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。

目前HBase主要应用在结构化和半结构化的大数据存储上，其在插入和读取上都具有极高的性能表现，这与它的数据组织方式有着密切的关系，在逻辑上，HBase的表数据按RowKey进行字典排序，RowKey实际上是数据表的一级索引(PrimaryIndex)，由于HBase本身没有二级索引(SecondaryIndex)机制，基于索引检索数据只能单纯地依靠RowKey的一级索引方式进行数据检索，而RowKey具有长度限制，并且RowKey确定后，不能再改动。因此如何能够在不更改RowKey的字段的情况下，快速查询出目标文件是本发明将要解决的问题。

发明内容

本发明的目的是提供一种基于HBase的数据查询方法，实现增加数据查询效率，提升用户查询检索的体验。

本发明提供的技术方案如下：

本发明提供一种基于HBase的数据查询方法，包括步骤：S100获取查询条件，判断所述查询条件的查询字段是否属于RowKey；若是，执行步骤S200；否则，执行步骤S300；S200根据所述查询字段在一级索引表中进行数据查询得到目标文件；S300根据所述查询字段在二级索引表中，获得对应于所述查询字段的对应RowKey；S400根据所述对应RowKey在所述一级索引表中进行数据查询得到目标文件。

进一步的，所述步骤S100包括步骤：S110获取所述查询条件，解析所述查询条件得到所述查询字段；S120判断所述查询字段是否属于所述RowKey；若是，执行步骤S200；否则，执行步骤S300。

进一步的，所述步骤S120之后还包括步骤：S130判断所述查询字段是否是所述RowKey中的预设位置范围内的字段；若是，执行步骤S200；否则，执行步骤300。

进一步的，所述步骤S100之前包括步骤：S010将所有数据写入网盘中；S020根据每条数据自身的元数据信息生成所述RowKey；S030将每条数据根据所述RowKey，分类生成所述一级索引表；S040在生成所述一级索引表的同时，根据预设字段和对应于所述预设字段的RowKey生成初始二级索引表；S050保存所述一级索引表和所述初始二级索引表至所述网盘的HBase库中。

进一步的，所述步骤S300包括步骤：S310判断所述查询字段是否是所述预设字段；若是，执行步骤S320；否则，执行步骤S340；S320对所述一级索引表进行处理，得到新的二级索引表；S330根据所述查询字段在所述新的二级索引表中，获得对应于所述查询字段的对应RowKey；S340根据所述查询字段在所述初始二级索引表中，获得对应于所述查询字段的对应RowKey。

进一步的，所述步骤S300还包括步骤：S350获取管理命令；S360当所述管理命令为删除类型时，根据所述管理命令进行相应的操作；S370当所述管理命令为添加类型时，根据所述管理命令进行相应的操作；S380当所述管理命令为修改类型时，根据所述管理命令进行相应的操作。

进一步的，所述步骤S360包括步骤：S361根据所述管理命令中的RowKey，在所述一级索引表中查找出对应于所述RowKey的待删除数据；S362根据所述管理命令删除所述一级索引表中的所述待删除数据；S363根据所述待删除数据和所述管理命令中的RowKey生成第一索引记录；S364在所述二级索引表中删除所述第一索引记录对应的数据。

进一步的，所述步骤S370包括步骤：S371将新添加数据根据元数据信息生成所述新添加数据对应的RowKey；S372根据所述新添加数据对应的RowKey，将所述新添加数据分类保存至所述一级索引表；S373根据所述新添加数据对应的RowKey和所述新添加数据生成第二索引记录；S374将所述第二索引记录按照预设顺序插入到所述二级索引表。