[发明专利]数据的分发方法、装置、存储介质及电子设备

说明书

本公开涉及一种数据的分发方法、装置、存储介质及电子设备，所述方法包括：根据采集器在当前时刻对应的历史采集数据信息以及与所述采集器对应的采集数据预测模型，预测所述采集器在所述当前时刻之后的下一采集时刻的采集数据信息；根据预测出的所述采集器在所述下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据，确定与所述采集器对应的分发策略；当接收到所述采集器在所述下一采集时刻采集的数据时，按照与所述采集器对应的所述分发策略对该数据进行分发。因此，可以在下一采集时刻之前提前预估出该下一采集时刻对应的分发策略，有效提高数据分发的效率，并降低数据分发的延迟率，提高整体资源利用率。

技术领域

本公开涉及数据传输领域，具体地，涉及一种数据的分发方法、装置、存储介质及电子设备。

背景技术

在生产生活中，常常需要将上游系统数据生产者产生的数据，高效准确地传递给下端系统订阅者。这里就需要一个位于生产者和订阅者之间的中间件，其能实时采集上游生产者产生的数据，并能高效地将数据分发到下端订阅者。

图1示出现有的数据分发过程的示例。如图1所示，数据分发的核心是以数据为中心的发布-订阅过程，即：能以某种方式将发布者(即生产者)产生的数据通过某种方式或某个中间件的处理高效准确地传递给适当的订阅者。

随着上端生产者产生数据规模的增大和上端生产者应用系统种类增多，相应的下端订阅者也随之增加，数据分发过程变得更加复杂。现有的数据的分发方法大多会浪费计算机资源，产生数据传输延时。例如，对于以轮询的方式分发给所有的消费者的方式，每一次数据分发都只会发给一个消费者，在大部分时间内，许多消费者都是空闲的，非常浪费系统资源；对于采用负载均衡算法将数据分发给消费者的方式，每一次数据分发都需要进行负载均衡计算，由于负载均衡算法相对复杂，会导致额外的计算资源占用和数据传输I/O延时；对于基于数据发送-接收延迟率来调整数据分发策略的方式，只将上一次数据分发时产生的数据发送-接收延迟率，作为调整当前数据分发策略的依据，会较大概率的出现判断不准确的情况。

发明内容

本公开的目的是提供数据的分发方法、装置、存储介质及电子设备，以解决现有的数据分发方法存在浪费系统资源以及数据传输延时的技术问题。

根据本公开的第一方面，提供一种数据的分发方法，所述方法包括：

根据采集器在当前时刻对应的历史采集数据信息以及与所述采集器对应的采集数据预测模型，预测所述采集器在所述当前时刻之后的下一采集时刻的采集数据信息，其中，所述历史采集数据信息包括所述采集器在多个历史采集时刻的采集数据信息，所述历史采集时刻不晚于所述当前时刻；

根据预测出的所述采集器在所述下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据，确定与所述采集器对应的分发策略，所述分发策略指示了接收所述采集器在所述下一采集时刻采集的数据的目标接收端以及每个所述目标接收端接收的数据量；

当接收到所述采集器在所述下一采集时刻采集的数据时，按照与所述采集器对应的所述分发策略对该数据进行分发。

可选地，所述采集器为多个；

所述根据预测出的所述采集器在所述下一采集时刻的采集数据信息、以及各个接收端当前的资源使用情况数据，确定与所述采集器对应的分发策略，包括：

根据预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据，获得与每个所述采集器对应的分发策略。

可选地，所述根据预测出的每个所述采集器各自在所述下一采集时刻的采集数据信息、以及各个所述接收端当前的资源使用情况数据，获得与每个所述采集器对应的分发策略，包括：