[发明专利]一种基于事件流处理和插件式开发框架的流数据处理方法

权利要求书

1.一种基于事件流处理和插件式开发框架的流数据处理方法，其特征在于，包括以下步骤：

步骤1，创建插件宿主程序；

步骤2，定义插件宿主程序与插件之间的接口规范；

步骤3，根据步骤2中的接口规范，针对各种不同的外场感知设备的数据采集协议，生成与各种数据采集协议相对应的数据采集插件；

步骤4，基于Esper框架创建事件流处理引擎，作为实时事件驱动框架，当事件流中有事件处理条件发生时，事件流处理引擎触发自定义动作；

步骤5，为事件流处理引擎定义时间窗口或长度窗口，时间窗口定义一定时间范围内或者任意一个时间段内的数据，长度窗口定义最近若干个事件的数据；

步骤6，根据各种不同的外场感知设备的数据采集协议实现与各数据采集协议相对应的数据处理规则；

步骤7，定义并注册事件，针对各种不同的外场感知设备定义各种事件，每一类外场感知设备定义为一个事件，并将各种事件注册到事件流处理引擎中；

步骤8，将步骤7中注册的事件分别与步骤6中的各种数据处理规则相关联，用于相应的事件发生时自动触发相关的自定义动作；

步骤9，设置事件处理条件；

步骤10，创建源数据队列PackageMessageQueue，用于存放各种不同的外场感知设备发送过来的原始数据，以及目标队列RecordMessageQueue，用于存放解码处理后的目标数据；

步骤11，创建源数据消费线程ConsumePackage和目标数据消费线程ConsumeRecord：

(11a)源数据消费线程ConsumePackage不断地从源数据队列PackageMessageQueue中取出数据，并根据数据的类型将该数据包装成对应类型的事件对象，并发送给事件流处理引擎，当达到步骤9设置的事件处理条件时触发相对应的数据处理规则进行处理，处理后得到的数据放入步骤10中的目标队列RecordMessageQueue；

(11b)目标数据消费线程ConsumeRecord不断地从目标队列RecordMessageQueue中取出目标数据；

步骤12，将步骤11得到的目标数据导出到目的地；

步骤13，创建守护进程，守护进程负责监测流数据处理程序的工作状态，当流数据处理程序的工作状态出现异常或者停止工作时主动关闭流数据处理程序并重新启动。

2.如权利要求1所述的一种基于事件流处理和插件式开发框架的流数据处理方法，其特征在于，步骤1中所述的插件宿主程序包含以下功能：

(1a)注册插件：插件在使用之前在宿主程序中进行注册，用于定位插件路径；

(1b)反注册插件：当宿主程序不再需要使用该插件的时候对插件进行反注册，使其不再成为宿主程序的一部分；

(1c)启用插件：启用已经注册的插件；

(1d)禁用插件：当不再使用某个插件时，禁用正在运行的插件。

3.如权利要求2所述的一种基于事件流处理和插件式开发框架的流数据处理方法，其特征在于，步骤3中所述的数据采集插件用于通过动态链接库技术在通信过程中获取各种外场感知设备发来的数据。

4.如权利要求3所述的一种基于事件流处理和插件式开发框架的流数据处理方法，其特征在于，步骤4中所述的事件流处理引擎的创建过程如下：

(4a)根据各种外场感知设备预先定义各种感知设备相对应的事件，然后将各种事件类型注册到配置环境中，生成相关的配置对象；

(4b)以配置对象为参数创建事件流处理引擎实例，作为事件处理的容器环境；

(4c)创建或者导入事件处理规则；

(4d)创建监听器对象，并将监听器对象与事件处理规则相关联；

(4e)事件流处理引擎创建事件流处理的执行环境对象，接收事件流，在引擎中与事件处理条件进行逻辑匹配；

(4f)执行环境对象负责监听来到的所有事件，当事件符合预先设定的事件处理条件时触发相应的监听器对外场感知设备事件进行处理得到目标数据。

5.如权利要求4所述的一种基于事件流处理和插件式开发框架的流数据处理方法，其特征在于，步骤6中所述的数据处理规则指对外场感知设备的数据进行接收并按照感知设备的采集协议解码，对解码后的数据按照用户需求处理。