[发明专利]基于内存计算的集群时态数据索引方法

说明书

本发明提供一种基于集群内存计算下的时态数据索引方法，采用双层索引方法，先将数据进行分区，对分区建立轻量级索引，然后在其内部的Array数据集建立本发明的时态索引。在分区过程中，根据时态索引的建立过程进行了相关优化，降低了分区内部建立索引的空间消耗，分区加快了查询时对数据集的剪枝过程，提高了查询的效率，优化时态索引的建立及查询代价。本发明可在保证一定查询速度的情况下，减少索引空间的大小，优化了同类索引中存储空间过大的问题；同时减少了对时态大数据的查询的延迟，提高了整体的吞吐量。

技术领域

本发明涉及一种基于内存计算的集群时态数据索引方法，属于云计算、时态大数据领域。

背景技术

时态数据是一系列表示某个时间点状态的数据，描述了被测量的主体在历史的时间维度上的状态信息，如在水文监控、工厂的设备监控、通讯监控、金融行业指标数据等。及时对时序数据的有效分析，可以发现事物发展的历史性，规律性，并能指导着作出相应决策判断。面对当今海量数据中的时态数据(例如，一辆联网汽车每小时产生25G数据)，如何有效的进行查询处理，仍是一大热点研究问题。

近年来，数据库领域已经出现了一些针对时态数据高效率查询的索引结构，然而传统数据库为关系型数据库，无法高效的处理海量的非关系型数据，且支持容量有限、不易拓展等特性使其无法满足海量数据下的客户需求。现有的大数据、云计算等高新领域的崛起为高效处理海量的时态数据提供了可能。其中的集群计算成为了大数据领域内最流行的一种解决方案，它实现内存计算和多机并行处理机制的同时，保证了任务执行的高吞吐量及低延迟特性。时态大数据数据下，现有的时态索引利用空间换取时间的方法为提高查询效率，往往采用用空间换取时间的办法，虽然查询效率得到了一定的提升，但额外占用的大量存储空间仍是不可避免的，并且很多都是基于外存计算的，相比内存计算方法，外存的计算速度明显会低几个数量级。如果把此类基于外存相关时态索引算法应用到集群的内存计算框架中，过大的内存消耗对集群的负载能力是一种巨大挑战，利用高消耗的内存容量换取一定的查询速度也显然不太实际。

发明内容

因此，鉴于当前时态索引方法在集群基于内存计算的缺陷，本发明提出了一种的更适合于集群中内存计算的时态大数据索引方法，该方法利用内存计算中数据全部放到内存中的计算高效性及时态数据间的特点，提出使用计算时间压缩索引存储空间的算法，并对该算法进行了一定的优化，既能利用高效的索引查询方法，又能避免过大的索引空间开销。

本发明提出的基于内存计算的集群时态数据索引方法，可实现一个支持针对时态大数据查询的索引，在基于内存计算的集群中，通过利用内存计算的高效性与时态数据间的特点对索引进行查询时间与建立索引空间之间的权衡，实现了基于内存计算的集群中对时态大数据的高吞吐、低延迟的查询操作。

本发明针对上述问题，提出一种基于集群内存计算的时态数据索引方法，结合时态数据的特征建立一系列优化方案(如分区策略，时态索引等)，实现对海量时态数据高效率的查询，推进时态数据的高可用性。

有关本发明的详细特征与实现，兹配合附图在实施方式中详细说明如下，其内容足以使任何领域技术人员了解本发明的技术内容并据以实施，且根据本说明书所揭露的内容附图，任何领域技术人员可轻易地理解本发明相关的目的及优点。

本发明的具体技术方案如下:

一种基于集群内存计算下的时态数据索引方法，属于双层索引方法，先将数据进行分区，对分区建立轻量级索引，然后在其内部的Array数据集建立本发明的时态索引。在分区过程中，根据时态索引的建立过程进行了相关优化，降低了分区内部建立索引的空间消耗，分区加快了查询时对数据集的剪枝过程，提高了查询的效率，优化时态索引的建立及查询代价。

具体包括如下索引建立和查询索引两部分技术实现过程:

1.索引建立

(1)获取集群的最大并发数，存入配置信息表中；