[发明专利]基于异构数据库的数据处理方法、系统、设备及存储介质

说明书

本发明实施例公开一种基于异构数据库的数据处理方法、系统、设备及存储介质。该方法包括：获取至少一个源端的用户数据，基于预先配置的机器学习模型对用户数据进行处理以确定用户指标结果，根据用户指标结果和用户数据按照业务主题异步写入卡夫卡消息队列中，以使异构数据库集群按照配置的业务主题异步读取用户指标结果和用户数据。本发明实施例，通过预先配置的多种机器学习模型对用户数据进行处理以确定不同的用户指标结果，实现指标结果的多样性的指标确定；通过将用户指标结果和用户数据按照业务主题异步写入卡夫卡，使异构数据库集群按照业务主题异步读取数据，保障系统的高可用和可扩展，实现多重保障机制。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于异构数据库的数据处理方法、系统、设备及存储介质。

背景技术

现有指标计算系统，通常采用传统关系型数据库提供数据存储服务，用于指标计算的各数据源进入系统后，先存储在关系型数据库中，指标计算应用再读取源数据或辅助数据进行指标计算，指标计算的过程数据和最终结果，都持久化到关系型数据库中。此方法不支持多样性、实时性指标计算，存在数据库读取效率较低、应用和数据库之间存在网络延迟和瓶颈、数据库磁盘输入/输出瓶颈、关系型数据库分析计算能力差等缺点。

公开内容

有鉴于此，本发明提供一种基于异构数据库的数据处理方法、系统、设备及存储介质，保障系统的高可用和可扩展，实现多重保障机制。

根据本发明的一方面，本发明实施例提供了一种基于异构数据库的数据处理方法，该方法包括：

获取至少一个源端的用户数据；

基于预先配置的机器学习模型对所述用户数据进行处理以确定用户指标结果；

根据所述用户指标结果和所述用户数据按照业务主题异步写入卡夫卡消息队列中，以使异构数据库集群按照配置的所述业务主题异步读取所述用户指标结果和所述用户数据，其中，所述异构数据库集群至少两类数据库集群

根据本发明的另一方面，本发明实施例还提供了一种数据处理装置，该装置包括：

数据获取模块，用于获取至少一个源端的用户数据；

指标结果确定模块，用于基于预先配置的机器学习模型对所述用户数据进行处理以确定用户指标结果；

数据读取模块，用于根据所述用户指标结果和所述用户数据按照业务主题异步写入卡夫卡消息队列中，以使异构数据库集群按照配置的所述业务主题异步读取所述用户指标结果和所述用户数据，其中，所述异构数据库集群至少两类数据库集群。

根据本发明的另一方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的基于异构数据库的数据处理方法。

根据本发明的另一方面，本发明实施例还提供了一种基于异构数据库的数据处理系统，所述基于异构数据库的数据处理系统包括：

业务端、卡夫卡数据流端以及数据存储端，其中，所述业务端至少包含两个节点，所述数据存储端至少包含两个两类数据库集群；

其中，所述业务端，用于实现如上述任一实施例所述的基于异构数据库的数据处理方法；

所述卡夫卡数据流端，用于提供流式数据处理功能；

所述数据存储端，用于按照配置的所述业务主题异步从所述卡夫卡数据流端中读取所述用户指标结果和所述用户数据。