[发明专利]数据处理方法、系统、计算机设备和存储介质

权利要求书

1.一种数据处理方法，其特征在于，所述方法应用于数据处理系统，所述方法包括：

获取数据产生端传输的数据流，将所述数据流中包含的每一事件消息数据存储于第一消息队列中；

基于事件模型对所述第一消息队列中的所述事件消息数据进行分类和业务主题映射，确定属于同一业务主题的所述事件消息数据；

将属于同一业务主题的所述事件消息数据存储至所属业务主题的第二消息队列中，所述第二消息队列用于响应数据消费端针对所述第二消息队列的业务主题的数据订阅请求。

2.根据权利要求1所述的方法，其特征在于，所述获取数据产生端传输的数据流，将所述数据流中包含的每一事件消息数据存储于第一消息队列中，包括：

接收数据产生端的数据流，所述数据流由所述数据产生端调用事件消息管理接口发送至所述数据处理系统；

读取所述数据流中每一报文数据的报文头，从所述报文数据中筛选所述报文头中包含目标字段的报文数据，得到事件消息数据；

将每一所述事件消息数据存储于第一消息队列中。

3.根据权利要求1所述的方法，其特征在于，所述基于事件模型对所述第一消息队列中的所述事件消息数据进行分类和业务主题映射，确定属于同一业务主题的所述事件消息数据，包括：

获取事件模型，所述事件模型是根据预设建模方法得到的具备业务主题属性的数据识别模型；

根据每一所述事件模型，在所述第一消息队列中识别并读取事件消息数据，将所述事件消息映射到所述事件模型所属业务主题中，确定属于同一业务主题的所述事件消息数据。

4.根据权利要求1所述的方法，其特征在于，所述将属于同一业务主题的所述事件消息数据存储至所属业务主题的第二消息队列中，包括：

根据目标事件规则，对属于同一业务主题的所述事件消息数据进行加工整合处理，得到事件数据；

为所述事件数据添加事件编码标识，得到目标事件数据，并将所述目标事件数据存储至所属业务主题的第二消息队列中。

5.根据权利要求1所述的方法，其特征在于，所述第二消息队列用于响应数据消费端针对所述第二消息队列的业务主题的数据订阅请求，包括：

调用事件消息管理接口监听数据消费端的数据订阅请求；所述数据订阅请求中携带目标业务主题标识；

当监听到所述数据消费端发送的所述数据订阅请求时，根据所述目标业务主题标识，在各所述第二消息队列中确定目标第二消息队列，读取所述目标第二消息队列中的事件消息数据，并将所述目标第二消息队列中的事件消息数据发送至所述数据消费端。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据预设周期获取所述第一消息队列以及各所述第二消息队列中的事件消息数据；

将每一所述消息队列中的所述事件消息数据存储在分布式文件数据库的目标分区中；

检查每一所述目标分区中所述事件消息数据携带的事件编码标识的编码顺序，判别所述事件编码标识的编码顺序是否满足预设编码条件；

若所述事件编码标识的编码顺序不满足所述预设编码条件，则输出数据缺失提示信息。

7.一种数据处理系统，其特征在于，所述数据处理系统包括：数据传输通道和数据处理引擎，

所述数据传输通道，用于获取数据产生端传输的数据流，将所述数据流中包含的每一事件消息数据存储于第一消息队列中，实现事件消息数据的传输；

所述数据处理引擎，用于基于事件模型对所述第一消息队列中的所述事件消息数据进行分类和业务主题映射，确定属于同一业务主题的所述事件消息数据；

所述数据处理引擎，还用于将属于同一业务主题的所述事件消息数据存储至所属业务主题的第二消息队列中，所述第二消息队列用于响应数据消费端针对所述第二消息队列的业务主题的数据订阅请求。