[发明专利]基于流处理的事件处理方法及系统

说明书

本发明公开了一种基于流处理的事件处理方法及系统，涉及实时数据处理领域。该方法包括：预处理单元对事件进行预处理，以消息的方式发送至消息中间件，转发给流处理平台；流处理平台将事件与预设的事件匹配规则进行匹配，当匹配成功后，将事件发送给订阅关系处理单元；订阅关系处理单元查阅事件的订阅信息，将订阅信息和事件发送给封装单元；封装单元根据订阅信息对事件进行封装并分发。本发明能够节省较多的存储资源，新的事件消息接入时，只需要对源数据进行标准化处理，后续的处理通过配置实现，能够大大节省开发工作量，使数据处理时延从分钟级降低到秒级，适用于实时性要求高的数据的处理。

技术领域

本发明涉及实时数据处理领域，尤其涉及一种基于流处理的事件处理方法及系统。

背景技术

随着网络技术的发展，在移动互联网时代，每天都在产生海量的数据，对于实时性要求较高的数据，如果数据量较小，则经过数据清洗过滤后存储在关系数据库中，同时查询数据库或者调用服务验证组合条件是否成立。如果数据量较大，则经过数据清洗过滤后存储在非关系数据库中，同时查询非关系数据库验证组合条件是否成立。

然而，随着对消息处理的时延要求越来越高，通过先存储数据再处理的方式，不仅数据处理时延较长，数据存储的成本也很高，将数据存储在数据库中，新增一种类型的数据需要新建或者扩展表模型，并需要开发对应的数据入库和数据处理代码，开发工作量较大，不利于后续扩展。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种基于流处理的事件处理方法及系统。

本发明解决上述技术问题的技术方案如下：

一种基于流处理的事件处理方法，包括：

预处理单元对事件进行预处理，将预处理后的事件以消息的方式发送至消息中间件，通过所述消息中间件将所述消息转发给流处理平台；

所述流处理平台将所述事件与预设的事件匹配规则进行匹配，当匹配成功后，将所述事件发送给订阅关系处理单元；

所述订阅关系处理单元查阅所述事件的订阅信息，将所述订阅信息和所述事件发送给封装单元；

所述封装单元根据所述订阅信息对所述事件进行封装并分发。

本发明解决上述技术问题的另一种技术方案如下：

一种基于流处理的事件处理系统，包括：预处理单元、消息中间件、流处理平台、订阅关系处理单元和封装单元，其中：

所述预处理单元用于对事件进行预处理，将预处理后的事件以消息的方式发送至所述消息中间件，通过所述消息中间件将所述消息转发给所述流处理平台；

所述流处理平台用于将所述事件与预设的事件匹配规则进行匹配，当匹配成功后，将所述事件发送给所述订阅关系处理单元；

所述订阅关系处理单元用于查阅所述事件的订阅信息，将所述订阅信息和所述事件发送给所述封装单元；

所述封装单元用于根据所述订阅信息对所述事件进行封装并分发。

本发明的有益效果是：本发明首先将预处理过的事件以消息的方式通过消息中间件转发到流处理平台，再通过流处理平台根据预设的事件匹配规则进行匹配和订阅分发，事件的处理过程不需要存储源数据和过程数据，能够节省较多的存储资源，新的事件消息接入时，只需要对源数据进行标准化处理，后续的处理通过配置实现，能够大大节省开发工作量，使数据处理时延从分钟级降低到秒级，适用于实时性要求高的数据的处理。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

图1为本发明基于流处理的事件处理方法的实施例提供的流程示意图；