[发明专利]一种用于轨道交通多源流数据的分布式实时处理方法

说明书

本发明公开了一种用于轨道交通多源流数据的分布式实时处理方法，该方法包括多源流数据的合并和合并后流数据的分布式处理两部分；多源流数据的合并首先对同一轨道线路上同一车辆的实时数据进行维度上的合并，对维度合并后得到的新流进行广度上的合并；合并后流数据的分布式处理在分布式系统上实现，分布式系统拥有两种类型的Manager，分别为JobManager以及TaskManager；设置多个JobManager；本发明具有一定的伸缩度，且整个架构的伸缩不会降低或增加整体的流处理计算量；本发明拥有性能高的特点；本发明在进行分布式处理时，采用了分布式多JobManager状态同步的方式实现了完全的分布式处理。

技术领域

本发明属于数据处理技术领域，尤其涉及一种用于轨道交通多源流数据的分布式实时处理方法。

背景技术

针对新型轨道交通系统大数据处理的场景以及其分布式存储和实时处理需求，传统数据库、数据集群面对轨道交通系统全生命周期混合时态大数据进行处理查询时为了满足多变的业务需求往往需要针对多个数据实体进行关联，传统SQL查询适用场景主要为大规模批处理，在进行实时流处理时性能不佳。

在流处理场景中，Spark和Flink为目前的两个较为流行的流处理引擎，在数据合并上提供有ConnectedStream和union两种操作，其中前者仅支持二流合并，后者有数据格式要求，他们对关联补全支持尚不完善，均存在一定不足；在数据处理上，两者支持均较完善，但由于轨道交通系统的数据流具有天然的离散型等特点，直接套用引擎实时流计算会提高数据原有的复杂度，会带来负面的性能消耗，在这一层面可以进行优化。现有SQL、Spark Streaming、Flink都提供类似的功能。

现有数据归并技术均对于多源流数据的实时合并没有较好的解决方案，SQL批处理通常采用传统join方式进行，适用于一次性处理有限的大规模数据，不适用于实时流处理，Spark、Flink等流处理引擎进行union操作时均会占用JVM内存，影响后续操作性能，且union操作具有一定的限制。

由于轨道交通数据基于轨道线路、车辆等分布表现出天然的离散性，故在离散段分布式流式处理的过程中采用传统大数据引擎的处理方式会导致性能上的浪费，且大数据引擎在进行分布式处理时依赖于集群，仍存在一定的中心化即master-workers的概念。

发明内容

本发明提出一种用于轨道交通多源流数据的分布式实时处理方法，旨在为轨道交通系统大数据平台提供一定的实时处理支撑，针对轨道交通系统的数据特点，本发明至少主要解决了以下三个技术问题：

1.多源流式数据的合并。由于轨道交通系统复杂，一个系统中包含多条轨道线路，而一个轨道线路中包含多辆轨道列车，数据来源数量多、维度广，故须完成多个流式数据的实时合并处理。

2.有保障的分布式的流式数据处理。由于轨道系统数据具有规模大和依据线路、车辆等分布的离散性两个特点，故可以采用具有保障的分布式流式处理。

3.处理数据响应速度足够快且数据处理不重复。由于轨道系统大数据平台实时处理、实时响应的要求，需要达到较高的性能指标。

本发明的目的是通过以下技术方案来实现的：一种用于轨道交通多源流数据的分布式实时处理方法，该方法包括多源流数据的合并和合并后流数据的分布式处理两部分；

所述多源流数据的合并具体如下：

步骤1：对同一轨道线路上同一车辆的实时数据进行维度上的合并，包括以下子步骤：

步骤1.1：分别从同一轨道线路上同一车辆的q条流中读取数据放到缓冲区，每条流均以车辆唯一标识和时间戳作为key，缓冲区是一个大小为m1的满足FIFO的区域，用于临时存放接收到的q条流的数据；