[发明专利]数据分发方法和装置、存储介质及电子装置

说明书

本发明提供了一种数据分发方法和装置、存储介质及电子装置，上述方法包括：通过目标流处理系统从订阅系统获取目标数据，其中，所述订阅系统用于保存所述目标数据；确定所述目标流处理系统的多个输出分支，其中，所述多个输出分支中的每个输出分支对应一个数据处理系统；通过所述多个输出分支将所述目标数据发送至所述多个输出分支对应的多个数据处理系统，其中，所述多个数据处理系统中的每个数据处理系统与所述多个输出分支中的一个输出分支一一对应。通过本发明，可以解决相关技术中数据分发的过程中订阅系统的负载较大的技术问题，降低了数据分发过程中的订阅系统的负载，提高了数据分发效率。

技术领域

本发明涉及通信领域，具体而言，涉及一种数据分发方法和装置、存储介质及电子装置。

背景技术

相关技术中，在大数据处理流程中，涉及到了多个架构框架和数据处理系统，并且每个数据处理系统均需要从订阅系统订阅数据。然而，目前架构框架体系很多且技术栈不统一，进而造成资源利用率较低，并且多个数据处理系统的同步和数据分发缺少统一的系统架构，并且每个数据处理系统各自进行数据处理，增加了抽取转换加载(Extract-Transform-Load，简称为ETL)的中间处理环节，从而增加了数据处理的复杂度。以图1为例，相关技术中在向多个下游数据处理链路分发数据时，需要通过多个下游数据处理链路中的多个数据处理系统(例如图1中的分布式文件系统Hdfs，搜索系统ES，分布式数据库系统Hbase)各自的中间件通过数据链路从订阅系统订阅数据，并由各自的中间件(例如第一中间件Flume，第二中间件Logstash，和第三中间件Spark)对订阅到的数据进行预处理。

然而，相关技术中存在以下问题：订阅系统的每条下游数据处理链路都需要有中间件进行一次订阅系统的全量订阅，例如以图1为例，在一个业务场景中当前的数据吞吐量为1600万条/分钟消息，从而所有下游数据链路需要每次从订阅系统订阅的消息频率为：3*1600万条/分钟＝4800万条/分钟，从而造成订阅系统负载成倍的增加；并且相关技术中各个数据处理系的中间件都需要独立的机器资源以应对较高的吞吐量，因此资源利用率较低；并且每新增一个下游数据处理链路，均需要增加新的中间件，从而导致技术复杂度和维度难度较高。

针对相关技术中，数据分发的过程中订阅系统的负载较大的技术问题，尚未提出有效的技术方案。

发明内容

本发明实施例提供了一种数据分发方法和装置、存储介质及电子装置，以至少解决相关技术中数据分发的过程中订阅系统的负载较大的技术问题。

根据本发明的一个实施例，提供了一种数据分发方法，包括：通过目标流处理系统从订阅系统获取目标数据，其中，所述订阅系统用于保存所述目标数据；确定所述目标流处理系统的多个输出分支，其中，所述多个输出分支中的每个输出分支对应一个数据处理系统；通过所述多个输出分支将所述目标数据发送至所述多个输出分支对应的多个数据处理系统，其中，所述多个数据处理系统中的每个数据处理系统与所述多个输出分支中的一个输出分支一一对应。

可选地，所述目标流处理系统包括：Flink流处理系统，其中，所述确定所述目标流处理系统的多个输出分支，包括：确定所述Flink流处理系统中存储的目标数量，其中，所述目标数量用于表示所述Flink流处理系统的输出分支的总数；确定所述目标数量的输出分支中的每个输出分支对应的路径标识，其中，所述路径标识用于标识所述每个输出分支对应的数据处理系统与所述目标流处理系统之间的传输路径。

可选地，所述通过所述多个输出分支将所述目标数据发送至所述多个输出分支对应的多个数据处理系统，包括：通过所述Flink流处理系统对所述目标数据进行预处理，得到预处理后的数据；通过所述Flink流处理系统将所述预处理后的数据复制为所述目标数量份；通过所述Flink流处理系统将所述目标数量份中的每份预处理后的数据根据一个输出分支对应的路径标识发送至对应的一个数据处理系统。