[发明专利]一种用于轨道交通多源流数据的分布式实时处理方法

权利要求书

1.一种用于轨道交通多源流数据的分布式实时处理方法，其特征在于，该方法包括多源流数据的合并和合并后流数据的分布式处理两部分；

所述多源流数据的合并具体如下：

步骤1：对同一轨道线路上同一车辆的实时数据进行维度上的合并，包括以下子步骤：

步骤1.1：分别从同一轨道线路上同一车辆的q条流中读取数据放到缓冲区，每条流均以车辆唯一标识和时间戳作为key，缓冲区是一个大小为m1的满足FIFO的区域，用于临时存放接收到的q条流的数据；

步骤1.2：将缓冲区内前n1组数据作为合并窗格，对合并窗格内的数据进行按key join和排序的操作，未能参与join的数据置后，用于参加下一次的join或进行噪点校验排除；将合并窗格内前o1组数据作为输出窗格，输出窗格始终在合并窗格的最前端，合并窗格内动作完成后，缓冲区将输出窗格中成功join且顺序正确的数据；其中o1 n1 m1；

步骤1.3：合并窗格后移输出数据的数据量，缓冲区所输出的数据即组成q条流按维度合并所得的新流；

步骤2：对维度合并后得到的新流进行广度上的合并，进行广度合并的各条数据流的结构相同，包括以下子步骤：

步骤2.1：不断从多条需进行广度合并的流中接收数据并放到大小为m2的缓冲区中；

步骤2.2：将缓冲区中前n2组数据作为合并窗格，对合并窗格中数据按照时间戳进行排序，将合并窗格中的前o2组数据作为输出窗格，将输出窗格中的数据进行输出；其中o2 n2 m2；

步骤2.3：合并窗格后移输出数据的数据量，每次不断输出的前o2个数据即组成合并后的数据流；

所述合并后流数据的分布式处理在分布式系统上实现，所述分布式系统拥有两种类型的Manager，分别为JobManager以及TaskManager，JobManager为整个分布式系统在逻辑上的中心，将流处理任务根据当前全局状态下发给不同的TaskManager，TaskManger将直接与一个流处理任务相关联，通过唤起流处理引擎对数据进行处理并将处理过程中的状态实时反馈给JobManager；设置多个JobManager，其中一个JobManager为TaskManager的实际操控方，称为MainJobManager，MainJobManager在完成正常的任务分配和进度管理以外，向其余JobManager同步当前全局状态，其余JobManager在常规情况下保持待机状态，只须接收来自MainJobManger的同步信息并更新自身存储的全局状态；

所述合并后流数据的分布式处理过程如下：

步骤1：所有JobManager之间建立通信、同步全局状态并选取出一个MainJobManager；

步骤2：通过MainJobManager根据当前流处理任务分配不同轨道线路的数据流到分布式的不同机器上并在每台机器上唤起TaskManager并分配任务；

步骤3：每台机器上的TaskManager与自身所需要处理的数据流进行绑定，唤起底层的流数据引擎对流进行处理，将处理过程中所得数据沉淀存储到指定位置或反馈给MainJobManager用于全局状态更新；

步骤4：MainJobManager根据TaskManager反馈数据更新全局状态并将其同步到全部JobManager，依据当前状态决定是否对某个TaskManager更新下一步决策。

2.根据权利要求1所述的一种用于轨道交通多源流数据的分布式实时处理方法，其特征在于，在多源流数据的合并过程中，所有合并操作均在缓冲区合并窗格内完成，此外，部分其余操作也在此完成，包括噪点数据、异常数据的检测和剔除、高权重数据的沉积与存储。

3.根据权利要求1所述的一种用于轨道交通多源流数据的分布式实时处理方法，其特征在于，在多源流数据的合并过程中，缓冲区总大小要实时参照所合并流的数据产生速度和轨道交通系统对实时性的要求进行伸缩；合并窗格大小以及输出窗格大小随缓冲区总大小实时伸缩。