[发明专利]数据处理方法、装置、设备及存储介质

说明书

本申请实施例提供一种数据处理方法、装置、设备及存储介质，该方法包括：获取多条目标消息，所述多条目标消息是通过目标Kafka对多个数据源的消息数据进行格式统一处理得到的；对各条所述目标消息进行处理，得到各条所述目标消息对应的单个业务因子；根据所述单个业务因子，确定相应的所述目标消息是否是为用户行为分析提供的实时有效数据；若所述目标消息是所述实时有效数据，则将所述单个业务因子对应的业务信息发送至目标系统，以使所述目标系统根据所述业务信息为相应的用户提供业务服务。本申请实施例提供的方法能够克服现有技术中无法满足大规模数据应用而且无法保证数据同步的时效性的问题。

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术

随着用户规模的增加、产生数据量的快速增长，为应对激烈的市场竞争，运营商越来越依赖精确化的数据统计分析以实现科学管理和决策。

目前，由于各类业务数据呈现爆炸式的增长，信息的交互和沟通正在从传统点对点的方式往信息链甚至信息网的方向发展，这样必然带来数据在各个维度的交叉关联，其中，数据存储的介质有数据库、文件、消息流，因此，通过不同来源的各个维度数据进行数据分析。

但是由于不同介质的存储形态和数据结构不同，异构的数据来源造成不同的数据无法聚合，同时，针对文件传输模式存在数据同步延迟长、数据丢失未入库、全量同步消耗资源大等不足，进而无法满足大规模数据应用而且数据同步的时效性无法保证。

发明内容

本申请实施例提供一种数据处理方法、装置、设备及存储介质，以克服现有技术中无法满足大规模数据应用而且无法保证数据同步的时效性的问题。

第一方面，本申请实施例提供一种数据处理方法，包括：

获取多条目标消息，所述多条目标消息是通过目标Kafka对多个数据源的消息数据进行格式统一处理得到的，所述目标Kafka为服务器中任一Kafka，所述多个数据源包括数据库日志、接触式文件、其他Kafka；

对各条所述目标消息进行处理，得到各条所述目标消息对应的单个业务因子；

根据所述单个业务因子，确定相应的所述目标消息是否是为用户行为分析提供的实时有效数据；

若所述目标消息是所述实时有效数据，则将所述单个业务因子对应的业务信息发送至目标系统，以使所述目标系统根据所述业务信息为相应的用户提供业务服务。

在一种可能的设计中，所述获取多条目标消息，包括：

通过所述目标Kafka分别获取数据库日志的消息数据、接触式文件的消息数据、其他Kafka中的消息数据并存储至所述目标Kafka中的不同的主题文件；

通过所述目标Kafka对所述目标Kafka中不同的主题文件中的消息数据进行消息过滤，得到多条第一消息；

从所述目标Kafka中获取通过所述目标Kafka对所述多条第一消息按照预设格式进行格式转换得到的多条目标消息。

在一种可能的设计中，

所述对各条所述目标消息进行处理，得到各条所述目标消息对应的单个业务因子，包括：

对各条所述目标消息进行解析，得到各条所述目标消息中包含的所有字段；

针对每条所述目标消息，提取相应的所有字段对应的单个业务因子；

所述单个业务因子包括业务类型、产品、资费、时间、剩余量、位置变化、机型变化。

在一种可能的设计中，

所述根据所述单个业务因子，确定相应的所述目标消息是否是为用户行为分析提供的实时有效数据，包括：