[发明专利]基于Flink架构的多数据源实时交通事件处理方法

权利要求书

1.一种基于Flink架构的多数据源实时交通事件处理方法，其特征在于本方法包括如下步骤：

步骤一、读取消息队列Kafka中的数据源，将不同的数据源的交通事件数据使用不同的转换器统一格式：包含事件ID、事件状态、事件类型、创建时间、有效期、道路，linkId数量为多条、道路区间、区域，该区域长度为7的geoHash值，区域为多个区域，使用Flink平台的Union算子将多个数据流合并到一个流中；所述事件状态包括新事件、更新事件、过期事件；所述事件类型包括天气、意外事件、拥堵、施工；所述道路区间包括事件的起点和终点在该道路上距离道路起点的偏移量；

步骤二、将统一的数据进行预处理

步骤2.1使用Flink平台的filter算子过滤掉非指定区域的事件；

步骤2.2、根据事件所在的道路等级，使用Flink平台的filter算子，过滤掉道路等级低于某个阈值的事件；

步骤2.3、使用Flink平台的keyBy算子，将这些事件Id进行分区，将事件分发到事件所在每一个区域；

步骤2.4、使用Flink平台的process算子，对不同分区的数据进行分发；

步骤三、使用Flink平台的keyBy算子，将事件按照geoHash值进行分区，使用Flink平台的map算子，对区域内的所有事件进行去重，将新事件和区域内已经存在的事件进行聚合处理，包括新增事件，更新事件，过滤过期事件操作；

步骤四、数据下发到下游消息队列Kafka以供消费。