[发明专利]面向HDFS的split内部索引方法和装置

说明书

本发明实施例提供一种面向HDFS的split内部索引方法和装置，属于数据检索领域。该方法包括：接收查询请求；根据所述查询请求确定索引属性；根据所述索引属性的索引属性值通过预先建立的聚集索引或非聚集索引确定分块split；以及加载所确定的split以获取与所述查询请求对应的数据。通过上述技术方案，本发明通过预先建立的聚集索引或非聚集索引来根据查询请求确定期望加载的split，减少了不必要的数据扫描产生的磁盘I/O，提高了HDFS的查询速度。

技术领域

本发明涉及数据检索领域，具体地涉及面向HDFS的split内部索引方法和装置。

背景技术

HDFS(Hadoop分布式文件系统)作为Hadoop生态圈的底层基础，通常被用来存储离线数据，并结合Map/Reduce来处理分析性查询，但对于对响应时间有较严格要求的选择性和交互式查询，则存在性能上的缺陷。

在传统的数据库管理技术中，提高查询处理速度最常用的方法是索引。通过索引可以快速过滤不符合查询要求的数据，可以极大地降低I/O，缩小搜索范围，降低响应时间。然而，传统的索引技术并不能直接应用到HDFS的查询中。

在HDFS里，表文件会被划分成多个split来进行处理，每个split包含了大量的记录，查询时，如果对每条记录都进行扫描，将会产生大量的磁盘I/O，降低查询效率。

发明内容

本发明实施例的目的是提供一种面向HDFS的split内部索引方法和装置，用于解决I/O开销大的问题。

为了实现上述目的，本发明实施例提供了一种面向HDFS的split内部索引方法，该方法包括：接收查询请求；根据所述查询请求确定索引属性；根据所述索引属性的索引属性值通过预先建立的聚集索引或非聚集索引确定分块split；以及加载所确定的split以获取与所述查询请求对应的数据。

优选地，根据所述索引属性的索引属性值通过预先建立的聚集索引或非聚集索引确定split包括：在所述索引属性仅包括一个属性的情况下，通过所述聚集索引确定split；以及在所述索引属性包括多个属性的情况下，通过所述非聚集索引确定split。

优选地，所述聚集索引的建立过程如下：针对一个索引属性的索引属性值进行排序，并基于排序后的索引属性值建立聚集索引。

优选地，所述非聚集索引的建立过程如下：针对多个索引属性中的第一属性的索引属性值进行排序，并基于排序后的索引属性值建立聚集索引；以及针对所述多个索引属性中的除了所述第一属性之外的其他属性建立非聚集索引。

优选地，该方法还包括：将根据所述查询请求所确定的索引属性的索引属性值的范围与所述非聚集索引中对应的索引属性的索引属性值的范围进行比较，判断是否有交集；在存在交集的情况下，将索引属性值的交集部分对应的split的数据进行加载；以及在不存在交集的情况下，将所述非聚集索引中对应的索引属性的索引属性值对应的split丢弃。

相应地，本发明实施例提供了一种面向HDFS的split内部索引装置，该装置包括：接收模块，用于接收查询请求；处理模块，用于根据所述查询请求确定索引属性，并用于根据所述索引属性通过预先建立的聚集索引或非聚集索引确定分块split；以及加载模块，用于加载所确定的split以获取与所述查询请求对应的数据。

优选地，所述处理模块还用于：在所述索引属性仅包括一个属性的情况下，通过所述聚集索引确定split；以及在所述索引属性包括多个属性的情况下，通过所述非聚集索引确定split。

优选地，所述聚集索引的建立过程如下：针对一个索引属性的索引属性值进行排序，并基于排序后的索引属性值建立聚集索引。