[发明专利]一种面向轨迹流数据的连续范围查询的方法和系统

说明书

本发明提出了一种面向轨迹流数据的连续范围查询的方法和系统，其中该系统包括了位置信息发送模块，索引模块和查询模块。本发明先改进了索引模块，可以保证轨迹点根据其空间位置和时间顺序快速插入，并且支持轨迹的ID‑时间范围查询和空间范围查询。接着，改进了查询模块，采用内外存结合的查询机制，并最大程度地减少空间相交判断的次数和需检索的数据次数。再者，对索引模块和查询模块进行了补充，使其在查询变化的情况下也能保证查询的准确性。最后，还包括了内存清理模块，当查询次数和并发查询数目增加时，削减其结果集，减轻内存负担。本发明在保证数据实时更新的情况下，同时实现时间范围查询和空间范围查询，并提高了连续范围查询的效率。

技术领域

本发明涉及连续范围查询技术，特别是涉及一种面向轨迹流数据的连续范围查询技术

背景技术

随着全球定位系统的发展和移动设备的普及，移动对象正在连续不断地高速产生大量的流数据。对流数据的处理也就成为了新兴的技术热点，吸引了人们的广泛关注。

目前，已经有了一些关于查询流数据的研究。

针对微博数据和移动对象的实时查询就是其中的一种。该查询的索引结构是格网或金字塔结构。由于针对的数据是点类型的，这两种结构在插入和删除数据时涉及到节点的合并与分裂，可能要调整整个结构，所以更新困难，逐个点处理的效率太低，需要使用批量更新的方式保证数据插入的效率。但是，批量更新索引法并不能保证最新的数据及时地出现在查询结果集中。因此，该查询结果的可靠性不足。另外，点类型的数据就是一个点，如带有地理位置的微博数据、移动对象的当前位置数据这类只包括一个点的数据。相对于线类型的数据，如具有点序列的轨迹来说，点类型的数据是没有历史数据的。因此，该查询不能支持实时和历史数据联合查询的场景。

实时和历史数据的联合查询是通过基于分布式的计算框架进行数据的分区和计算来实现的。该查询将接收到的实时数据根据属性进行分区，再与分区内的历史数据合并，实现对二者的联合查询。该类型的查询中，有两种方法值得引起关注。一个是，WaterWheel提出的一种数据分区方式，将key-时间组成的二维空间划分为多个矩形，在每个矩形代表的范围中根据key值范围建立内存中的模板B+树索引，实现数据的快速更新，有效支持key范围和时间范围的查询。例如，当key为小明、时间为10分钟时，可以查询10分钟内到达的、ID是小明的数据。另一个是，Dragoon基于分布式处理框架Spark提出的不同RDD之间的数据分享机制，避免了Spark原生机制在数据更新时不必要的数据拷贝，并在此基础之上实现数据的实时索引和查询。RDD(Resilient Distributed Dataset)，即弹性分布式数据集，是Spark中的一种数据抽象方式，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD将操作分为两类：转换与行动。RDD的每次转换都会生成一个新的RDD，所以RDD之间就会形成类似于流水线一样的前后依赖关系。无论执行了多少次转换操作，RDD都不会真正执行运算，只有当行动操作被执行时，运算才会触发。这就是Spark的惰性调用机制，是spark高效计算的基础。正是因为懒惰执行，spark才能更有效地运行于内存，使得高效的共享内存机制避免了大量中间结果，从而避免了磁盘写入写出带来的性能消耗。

前述两种实时和历史数据的联合查询方式，虽然都在一定的场景中能够得到很好的应用，但也都有各自的局限性。WaterWheel提出的方式不能高效支持空间范围查询，只能处理根据ID和时间属性进行的查询。Dragoon解决的仅是数据的实时更新问题和普通的单次查询问题，且仍采用了批量更新索引的方式进行实时数据的更新，不能保证最新的数据及时地出现在查询结果集中，另外，在连续查询的时候效率也依然没有提高。

发明内容