[发明专利]一种基于事件流处理和插件式开发框架的流数据处理方法

摘要

本发明公开了一种基于事件流处理和插件式开发框架的流数据处理方法，包括步骤1，创建插件宿主程序；步骤2，定义插件宿主程序与插件之间的接口规范；步骤3，针对不同的外场感知设备的数据采集协议生成相对应的数据采集插件；步骤4，创建事件流处理引擎；步骤5，为事件流处理引擎定义时间窗口或长度窗口；步骤6，针对不同的外场感知设备的数据采集协议实现相对应的数据处理规则；步骤7，定义并注册事件；步骤8，将注册的事件分别与步骤6中实现的各种数据处理规则相关联；步骤9，设置事件处理条件；步骤10，创建源数据队列以及目标队列；步骤11，创建消费线程；步骤12，将目标数据导出到目的地；步骤13，创建守护进程。

主权项

一种基于事件流处理和插件式开发框架的流数据处理方法，其特征在于，包括以下步骤：步骤1，创建插件宿主程序；步骤2，定义插件宿主程序与插件之间的接口规范；步骤3，根据步骤2中的接口规范，针对各种不同的外场感知设备的数据采集协议，生成与各种数据采集协议相对应的数据采集插件；步骤4，基于Esper框架创建事件流处理引擎，作为实时事件驱动框架，当事件流中有事件处理条件发生时，事件流处理引擎触发自定义动作；步骤5，为事件流处理引擎定义时间窗口或长度窗口，时间窗口定义一定时间范围内或者任意一个时间段内的数据，长度窗口定义最近若干个事件的数据；步骤6，根据各种不同的外场感知设备的数据采集协议实现与各数据采集协议相对应的数据处理规则；步骤7，定义并注册事件，针对各种不同的外场感知设备定义各种事件，每一类外场感知设备定义为一个事件，并将各种事件注册到事件流处理引擎中；步骤8，将步骤7中注册的事件分别与步骤6中的各种数据处理规则相关联，用于相应的事件发生时自动触发相关的自定义动作；步骤9，设置事件处理条件；步骤10，创建源数据队列PackageMessageQueue，用于存放各种不同的外场感知设备发送过来的原始数据，以及目标队列RecordMessageQueue，用于存放解码处理后的目标数据；步骤11，创建源数据消费线程ConsumePackage和目标数据消费线程ConsumeRecord：(11a)源数据消费线程ConsumePackage不断地从源数据队列PackageMessageQueue中取出数据，并根据数据的类型将该数据包装成对应类型的事件对象，并发送给事件流处理引擎，当达到步骤9设置的事件处理条件时触发相对应的数据处理规则进行处理，处理后得到的数据放入步骤10中的目标队列RecordMessageQueue；(11b)目标数据消费线程ConsumeRecord不断地从目标队列RecordMessageQueue中取出目标数据；步骤12，将步骤11得到的目标数据导出到目的地；步骤13，创建守护进程，守护进程负责监测流数据处理程序的工作状态，当流数据处理程序的工作状态出现异常或者停止工作时主动关闭流数据处理程序并重新启动。