[发明专利]一种轨道交通网络客流数据中图结构数据的实时查询方法

说明书

本发明公开了一种轨道交通网络客流数据中图结构数据的实时查询方法，对带有属性和标签的数据图进行基于跳数的分区，并建立相关索引；输入查询图，计算查询图的半径并选取查询起始点；生成查询图的查询序列；在各个分区内根据查询图的查询起始点的特征过滤出满足条件的数据图的查询起始点；进行级联式的图查询过程；收集所有分区的查询结果，完成分布式图查询过程。本发明在跨分区查询过程中传输查询图而不传输数据图，进而减少了数据传输量；级联查询过程基于起始点而不在整个数据图范围内进行，进而大幅降低了查询范围；采用异步并发和查询时结果集检测，能够最大化查询效率，从而能够满足轨道交通网络客流数据中图结构数据的实时查询处理需求。

技术领域

本发明属于数据处理技术领域，尤其涉及一种轨道交通网络客流数据中图结构数据的实时查询方法。

背景技术

轨道交通建设是重要的基础设施建设之一，目前轨道交通相关设施的建设正在快速进行中，伴随的是急剧增长的数据规模和数据复杂度。针对新型轨道交通建设，需要满足其生命周期大数据的实时处理需求，即满足其查询时高实时、低迟滞的需求。

网络客流数据是轨道交通数据范畴内极其重要的数据种类，客流作为城市轨道交通最基础和最重要的因素，对客流的分布特征及变化规律进行系统分析，掌握客流现状与变化规律，对日常行车组织、运营管理工作以及轨道交通规划等都具有重要意义。伴随城市轨道交通网络的持续运行和不断发展，网络客流数据迅速膨胀且日益复杂，达到了百亿条数据的规模。网络客流数据很大一部分都以图结构的形式进行表示和存储，用以表现数据之间复杂的关系网络，因此，需要一种新型的实时图数据查询技术，用以满足网络客流数据中图结构数据的实时查询处理。

传统轨道交通中的网络客流数据规模并不大，因此传统的单机存储和查询方式便能够满足其高实时、低延迟的需求。然而，随着数据规模急速膨胀，传统的存储和查询方式的劣势逐渐放大，主要体现在急剧增加的查询延迟和滞后的单机存储方式上。分布式的网络客流数据存储替代单机存储方式，从而提升了存储性能，然而将传统的单机查询方式应用在分布式的图数据存储中，所带来的低实时、高延迟是不能忍受的，因此本发明提出了一种新型高效的分布式图数据查询技术，用来解决分布式网络客流数据中的实时查询的性能问题。

现有轨道交通中的网络客流数据都是存储在传统关系型数据库中，不仅查询时延迟高、性能差，而且难以高效的表示出图结构数据之间复杂的网络关系。如果要实现高性能的网络客流数据实时查询，则需要使用分布式的图结构存储网络客流数据。

图数据查询的基本思想有两种，一种是基于图查询语句分解的，另一种是基于BSP(整体同步并行计算模型)的迭代式查询方法。基于图查询语句分解的方法，需要对简单的子查询语句的查询结果逐级组合，对于较为复杂且绑定节点较少的图查询语句，会产生过大的中间结果集，使查询效率大幅度降低，同时该方法需要在整个数据图范围内进行查询，也导致了较低的查询效率；基于BSP(整体同步并行计算模型)的迭代式查询方法并发度较高，但会产生很多不必要的计算，因为每次迭代中并不需要所有节点都参与迭代。

发明内容

本发明的目的在于针对现有技术的不足，提供一种轨道交通网络客流数据中图结构数据的实时查询方法，可以直接对复杂的图查询语句进行级联查询，不需要进行完整的子查询语句的查询步骤，进而大幅度降低了查询范围，使较底层产生的中间结果集的规模大幅度降低，减少分布式系统中节点之间的数据传输量，同时该方法并发度较高，尽可能减少了不必要的计算，从而能够满足轨道交通网络客流数据中图结构数据的实时查询处理需求。

本发明的目的是通过以下技术方案来实现的：一种轨道交通网络客流数据中图结构数据的实时查询方法，该方法包括以下步骤：

(1)对带有属性和标签的数据图，首先按照顶点进行哈希划分，然后对各分区内边和顶点进行基于跳数的复制，即将与该边界顶点距离不超过跳数k的其他分区的顶点及其关联边从其他对应分区内复制到本分区；同时建立边界顶点索引和顶点属性索引。