[发明专利]基于事件机制模板对实时流事件配置化处理方法及系统

说明书

本发明提供一种基于事件机制模板对实时流事件配置化处理方法及系统，属于数据处理技术领域。通过本系统，各个业务系统可以订阅自己业务需要的电商平台提供的各种数据流，同时也可以定义对数据流的过滤及处理方式，在本系统中，通过演算脚本对订阅的数据进行处理，并最终形成业务方需要的结果。此外本系统也支持由各业务系统主动推送一些数据到本系统，注册为数据集，供其他系统订阅。

技术领域

本发明属于数据处理技术领域，尤其是涉及一种基于事件机制模板对实时流事件配置化处理方法及系统。

背景技术

目前随着互联网快速发展，用户线上交易产生的非常大的数据量卖家期望在数据发生时做些营销的事情，比如电商平台卖家想对订单、物流、评论、退款等数据实时变化时做一些事情，原来的系统都是卖家通过现有系统被动去做些事情，存在一定的局限性，营销触达比较滞后。

发明内容

本发明旨在解决上述技术问题，提供一种基于事件机制模板对实时流事件配置化处理方法及系统。

为了达到上述目的，本发明采用如下技术方案：

基于事件机制模板对实时流事件配置化处理方法，包括：

S1.将ETL数据平台以及各业务数据推送到消息队列，适配器对接消息队列，监听多个队列的主题，并进行数据实时监听，数据格式转换、事件FQN定义、事件属性转换、数据有效性处理和数据唯一性处理，通过不同事件定义均衡分发到不同队列的主题；

S2.在JVM中编译并运行语法结构，同时提前声明每个事件流和数据集的结构SCHEMA，业务根据自身业务需求和预先定义的SCHEMA，组装符合业务场景的脚本规则，提交给本服务并进行订阅；

S3.大数据Spark Streaming流式处理框架结合消息队列，秒级微批处理，利用集群多executor并行处理，应用通过监听到队列消息后，根据事件FQN和数据隶属的集合TAG，初步过滤需要进行匹配的脚本规则，然后数据按照集合TAG进行shuffle后，批量提交给对应的脚本类进行处理，最终将匹配成功的结果推送到结果队列，供订阅者实时监听后进行业务处理。

作为优选，s3的事件处理过程中，如果事件FQN对应的脚本规则是需要DELAY处理，那么将进行延迟处理，该事件被定义为延迟事件，根据延迟脚本设置的DELAY TIME，和事件发生时间相加，并将该事件保存到延迟队列，到期时间作为事件的key，延迟队列服务定时轮询到期事件根据事件key，将到期事件回放到固定队列，S3中将监听该事件并进行后续处理。

本发明基于事件机制模板对实时流事件配置化处理系统，其特征在于，包括：

数据接入模块，所述数据接入模块用于将ETL数据平台以及各业务数据推送到消息队列，所述数据接入模块包括适配器，所述适配器对接消息队列，监听多个队列的主题，并进行数据实时监听，数据格式转换、事件FQN定义、事件属性转换、数据有效性处理和数据唯一性处理，通过不同事件定义均衡分发到不同队列的主题；

规则提交模块，所述规则提交模块在JVM中编译并运行语法结构，同时提前声明每个事件流和数据集的结构SCHEMA，业务根据自身业务需求和预先定义的SCHEMA，组装符合业务场景的脚本规则，提交给本服务并进行订阅；

事件处理模块，所述事件处理模块利用大数据Spark Streaming流式处理框架结合消息队列，秒级微批处理，并利用集群多executor并行处理，应用通过监听到队列消息后，根据事件FQN和数据隶属的集合TAG，初步过滤需要进行匹配的脚本规则，然后数据按照集合TAG进行shuffle后，批量提交给对应的脚本类进行处理，最终将匹配成功的结果推送到结果队列，供订阅者实时监听后进行业务处理。