[发明专利]一种基于事件流处理和插件式开发框架的流数据处理方法

说明书

技术领域

本发明涉及电力、交通、节能环保、新能源等外场感知传感设备的实时数据采集处理方法，特别是一种基于事件流处理和插件式开发框架的流数据处理方法。

背景技术

目前在进行外场感知设备的数据采集处理时，通常要同时对接不同的外场感知设备。由于不同的感知设备其通信协议不同，有的甚至差别很大，而传统的做法一般都是针对不同的外场感知设备的数据采集通常进行专门的开发。

当传感设备较多时采集的数据量比较大，数据处理的实时性难以保证。即使使用消息中间件进行数据的暂时缓存也会存在多个处理进程争用消息中间件的情况，此时消息中间件成为了实时性提升的瓶颈。

传统的外场感知设备的数据采集处理方法往往把数据的采集、处理和分析耦合在一起，进而导致了数据处理整体性能的下降。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供了一种基于事件流处理和插件式开发框架的流数据处理方法。

为了解决上述技术问题，本发明公开了一种基于事件流处理和插件式开发框架的流数据处理方法，包括以下步骤：

步骤1，创建插件宿主程序；

步骤2，定义插件宿主程序与插件之间的接口规范；

步骤3，根据步骤2中的接口规范，针对各种不同的外场感知设备的数据采集协议，生成与各种数据采集协议相对应的数据采集插件；

步骤4，基于Esper框架创建事件流处理引擎，作为实时事件驱动框架，当事件流中有事件处理条件发生时，事件流处理引擎触发自定义动作；

步骤5，为事件流处理引擎定义时间窗口或长度窗口，时间窗口定义一定时间范围内或者任意一个时间段内的数据，长度窗口定义最近若干个事件的数据；

步骤6，针对各种不同的外场感知设备的数据采集协议实现与各数据采集协议相对应的数据处理规则；

步骤7，定义并注册事件，针对各种不同的外场感知设备定义各种事件，每一类外场感知设备定义为一个事件，并将各种事件注册到事件流处理引擎中；

步骤8，将步骤7中注册的事件分别与步骤6中实现的各种数据处理规则相关联，用于相应的事件发生时能够自动触发相关的自定义动作；

步骤9，设置事件处理条件；

步骤10，创建源数据队列PackageMessageQueue，存放各种不同的外场感知设备发送过来的原始数据，以及目标队列RecordMessageQueue，用来存放解码处理后的目标数据；

步骤11，创建源数据消费线程ConsumePackage和目标数据消费线程ConsumeRecord：

(1)源数据消费线程ConsumePackage不断地从源数据队列PackageMessageQueue中取出数据，并根据数据的类型将该数据包装成对应类型的事件对象，并发送给事件流处理引擎，当达到步骤9设置的事件处理条件时触发相对应的数据处理规则进行处理，处理后得到的数据放入步骤10中的目标队列RecordMessageQueue；

(2)目标数据消费线程ConsumeRecord不断地从目标队列RecordMessageQueue中取出目标数据；

步骤12，将步骤11得到的目标数据导出到目的地，比如可导出到数据库、文件、或消息中间件中；

步骤13，创建守护进程，守护进程负责检测事件流数据引擎处理的工作状态，当流数据处理程序的工作状态出现异常或者停止工作时主动关闭流数据处理程序并重新启动。

本发明中，进一步地，步骤1中所述的插件宿主程序包含以下功能：

(1a)注册插件：插件在使用之前在宿主程序中进行注册，用于定位插件路径；只有注册成功后才能正确的找到插件路径；

(2)反注册插件：当宿主程序不再需要使用该插件的时候能够对插件进行反注册，从而使其不再成为宿主程序的一部分；

(3)启用插件：能够启用已经注册的插件；

(4)禁用插件：当不再使用某个插件时，能够禁用正在运行的插件。

步骤3中的数据采集插件的功能可以通过动态链接库技术实现。

步骤4中所述的事件流处理引擎的创建过程如下：

(4a)根据各种外场感知设备预先定义各种感知设备相对应的事件，然后将各种事件类型注册到配置环境中，生成相关的配置对象；

(4b)以配置对象为参数创建事件流处理引擎实例，作为事件处理的容器环境；

(4c)创建或者导入事件处理规则；