[发明专利]基于内存计算的集群时态数据索引方法

摘要

本发明提供一种基于集群内存计算下的时态数据索引方法，采用双层索引方法，先将数据进行分区，对分区建立轻量级索引，然后在其内部的Array数据集建立本发明的时态索引。在分区过程中，根据时态索引的建立过程进行了相关优化，降低了分区内部建立索引的空间消耗，分区加快了查询时对数据集的剪枝过程，提高了查询的效率，优化时态索引的建立及查询代价。本发明可在保证一定查询速度的情况下，减少索引空间的大小，优化了同类索引中存储空间过大的问题；同时减少了对时态大数据的查询的延迟，提高了整体的吞吐量。

主权项

1.一种基于集群内存计算下的时态数据索引方法，其特征在于，采用双层索引方法，先将数据进行分区，对分区建立轻量级索引，然后在其内部的Array数据集建立时态索引，其具体实现包括如下索引建立和查询索引两部分:1.索引建立(1)获取集群的最大并发数，存入配置信息表中；(2)对数据进行分区，判断整个数据集下的最高区分单位，然后将同一单位的数据根据比重划分分区数量，使相邻时间数据分到相同的分区中；(3)将分区内部整个数据集分成表示事件将要开始的索引表ST，事件将要结束的索引表ED，事件已经存在的索引表ID三类；(4)建立ST、ED与ID索引表，取数据集中的最小开始时间点作为基准点basetime，把数据集中其他开始时间点与此基准点的差值作为key值，表中事件记录所在数组的下标作为value值建立索引；(5)ID表的建立，采用时间间断方法，首先获取整个数据集的时间段范围N，选取个点作为实际存储点，各点之间的距离单位,根据时间段中存在某个存储点，则在ID表中添加到相应位置即可，故该算法相比不进行数据压缩的空间极限压缩比2.索引查询:接收查询指令，先通过与分区时返回的所有最大时间点进行索引查询，对整体数据集进行剪枝操作，快速找到结果所在分区，然后进入分区内部根据本发明的时态索引方法进行二次查询，得出结果。