[发明专利]一种用于电力大数据快速组合查询的动态索引方法

摘要

本发明公开了一种用于电力大数据快速组合查询的动态索引方法，其特征在于，所述方法具体包括如下步骤SS1利用动态索引图技术，为电力大数据建立一套立体的索引系统；SS2利用多条件组合查询方法创建索引；SS3建立电力大数据快速组合查询方案。本发明所达到的有益效果采用动态索引图技术，实现多条件列索引的建立和快速组合查询，通过建立索引图为每个查询专门创建复合索引，避免了进行全表逐行扫描，大大提升了电力大数据组合查询的速度。

主权项

一种用于电力大数据快速组合查询的动态索引方法，其特征在于，所述方法具体包括如下步骤：SS1利用动态索引图技术，为电力大数据建立一套立体的索引系统；SS2利用多条件组合查询方法创建索引；所述步骤SS2包括：当用户使用条件组合进行数据查询时，数据库引擎会依据自身的独有机制动态使用这些原本独立创建索引提供任意组合的多条件的数据查询；步骤SS2还包括：若使用没有创建索引的字段与其它已经创建了索引的字段进行组合查询，系统首先智能地去判断，发现其中的几个字段已有索引，将优先使用这几个字段初步判断与过滤，得到一组中间查询结果；对于并未建立索引的其它字段，需要再对中间结果数据进行逐条扫描；SS3建立电力大数据快速组合查询方案；所述步骤SS3具体包括如下步骤：1)用户从客户端输入SQL命令；2)通过JDBC和HBase连接到索引数据库；所述步骤SS3中的步骤2)包括：当HBase读入新增数据时，所有数据同步被送到指定的查询加速服务器，按指定关键字和日期对某个字段进行数值的统计，并建立查询索引；当用户向HBase发出查询请求时，该请求被即时送到特制的查询引擎，根据查询条件返回对应的索引地址，通过索引地址找到原始数据，并返回结果；3)解析SQL命令，从索引数据库找到对应的索引文件；4)对索引文件进行修剪，形成针对具体查询命令的动态索引图；5)通过动态索引图，得到需要查询的HFile的RowKey；6)HBase根据RowKey从HDFS取数据；7)将查询结果返回给用户。