[发明专利]一种基于Elastcisearch的HBase二级索引系统及方法

摘要

本发明公开了一种基于Elastcisearch的HBase二级索引系统，该系统包括数据表设计模块，键值匹配模块，行键返回模块，多表联合查询模块，标准SQL查询模块和接口模块。具体包括设计基于分布式列数据库的二级索引，利用二级索引技术为分布式列数据库的列值建立索引系统，并通过协处理器技术实现索引表的高效自动安全创建，打破HBase自身缺乏列族索引的缺陷；支持索引的动态增加或减少，减少随机查询带来的大量网络开销，提高二级索引的可扩展性和实用性；针对分布式数据存储SQL操作能力弱的问题，设计SQL解析器和执行器，构建并行SQL查询引擎，通过利用分布式列数据库API，协处理器和过滤器，将SQL操作转换为Region扫描操作，并充分利用二级索引机制，实现高效的并行SQL查询。

主权项

1.一种基于Elastcisearch的HBase二级索引系统，其特征在于，该系统包括数据表设计模块，用于在所述HBase数据表中为需要创建索引的列创建二级索引，并可对二级索引进行维护；HBase包含保存所述HBase数据表相关信息的HTableDescriptor类，在所述HTableDescriptor类中添加变量secondIndexs，所述变量secondIndexs以JSON的形式保存所述HBase数据表中创建的二级索引列；键值匹配模块，将HBase的行键作为ElasticSearch中的唯一键，HBase一行记录即为ElasticSearch中的一行，即二级索引表的行即为唯一标识HBase数据表中的一行，得到ElasticSearch索引表；行键返回模块，在索引阶段，ElasticSearch向HBase返回查询时匹配的行键集合，将HBase数据表中需要建立二级索引的列以JSON的形式添加到所述ElasticSearch索引表中，作为ElasticSearch索引的一个列；多表联合查询模块，用于通过ElasticSearch的套接字nested和parent‑child，使得所述HBase数据表支持多表关联查询；标准SQL查询模块，获取用户输入的SQL语句，并将SQL语句发送到Elasticsearch的Calcite，并接收所述Calcite返回的查询结果集，所述Calcite根据元数据对接收到的SQL语句进行元数据验证；在验证通过后对所述SQL语句进行解析得到SQL语法树，利用附加规则将所述SQL语法树转换为Elasticsearch可执行的匹配条件和查询执行动作，并返回查询结果集。