[发明专利]数据处理方法、系统、计算机设备和存储介质

说明书

本申请涉及一种数据处理方法、装置、计算机设备和存储介质。所述方法包括：获取数据产生端传输的数据流，将数据流中包含的每一事件消息数据存储于第一消息队列中；基于事件模型对第一消息队列中的事件消息数据进行分类和业务主题映射，确定属于同一业务主题的事件消息数据；将属于同一业务主题的事件消息数据存储至所属业务主题的第二消息队列中，第二消息队列用于响应数据消费端针对第二消息队列的业务主题的数据订阅请求。采用本方法保证了数据时效性，提高数据处理效率。

技术领域

本申请涉及报文数据处理技术领域，特别是涉及一种数据处理方法、装置、计算机设备和存储介质。

背景技术

随着互联网技术的发展，在数据信息的爆炸式增长趋势下，多种业务应用系统(也称为数据消费端)根据业务需求被开发。进而，由数据产生端向各业务应用系统传输业务数据以进行数据应用，在传输数据过程中需要对数据进行处理。

传统的数据处理方法中，需要对数据产生端的数据流按照预设维度进行批次划分，在数据传输通道接收到同一批次的数据后，对同一批次的数据进行业务主题分类等数据处理操作，进而将处理后的同一业务主题域的数据传输至对应的下游业务应用系统。

然而，按照批次进行数据处理的方式，需要等待同一批次的数据接收完成，才可以进行数据处理，面对实时数据时，批次数据处理的方式影响数据的时效性。

发明内容

基于此，有必要针对上述技术问题，提供一种数据处理方法、装置、计算机设备和存储介质。

一种数据处理方法，所述方法应用于数据处理系统，所述方法包括：

获取数据产生端传输的数据流，将所述数据流中包含的每一事件消息数据存储于第一消息队列中；

基于事件模型对所述第一消息队列中的所述事件消息数据进行分类和业务主题映射，确定属于同一业务主题的所述事件消息数据；

将属于同一业务主题的所述事件消息数据存储至所属业务主题的第二消息队列中，所述第二消息队列用于响应数据消费端针对所述第二消息队列的业务主题的数据订阅请求。

在其中一个实施例中，所述获取数据产生端传输的数据流，将所述数据流中包含的每一事件消息数据存储于第一消息队列中，包括：

接收数据产生端的数据流，所述数据流由所述数据产生端调用事件消息管理接口发送至所述数据处理系统；

读取所述数据流中每一报文数据的报文头，从所述报文数据中筛选所述报文头中包含目标字段的报文数据，得到事件消息数据；

将每一所述事件消息数据存储于第一消息队列中。

在其中一个实施例中，所述基于事件模型对所述第一消息队列中的所述事件消息数据进行分类和业务主题映射，确定属于同一业务主题的所述事件消息数据，包括：

获取事件模型，所述事件模型是根据预设建模方法得到的具备业务主题属性的数据识别模型；

根据每一所述事件模型，在所述第一消息队列中识别并读取事件消息数据，将所述事件消息映射到所述事件模型所属业务主题中，确定属于同一业务主题的所述事件消息数据。

在其中一个实施例中，所述将属于同一业务主题的所述事件消息数据存储至所属业务主题的第二消息队列中，包括：

根据目标事件规则，对属于同一业务主题的所述事件消息数据进行加工整合处理，得到事件数据；

为所述事件数据添加事件编码标识，得到目标事件数据，并将所述目标事件数据存储至所属业务主题的第二消息队列中。

在其中一个实施例中，所述第二消息队列用于响应数据消费端针对所述第二消息队列的业务主题的数据订阅请求，包括：