[发明专利]数据分发方法、装置、设备以及存储介质

说明书

本申请公开了数据分发方法、装置、电子设备及存储介质，涉及分布式流式计算领域。具体实现方案为：查询下游处理单元中的数据分片的排序信息，排序信息是对下游处理单元的数据分片按照待处理数据量进行排序得到的；基于数据分片的排序信息，向下游处理单元中的数据分片进行数据分发。本申请实施例根据下游处理单元的数据处理能力向下游处理单元中的数据分片进行数据分发，使数据向处理能力快的处理单元倾斜，能够有效地解决数据积压、数据流阻塞的问题，有效地提高数据流的处理速度与效率，可用于云计算。

技术领域

本申请涉及一种计算机技术领域，尤其涉及一种分布式流式计算领域，可用于云计算。

背景技术

在流式计算系统中，流式计算分发方案包括上游算子的处理单元将数据分发至下游算子的规则。在流式数据处理的实际业务中，部署在分布式集群中规模较大的作业可能会出现单点故障或单点处理速度缓慢的问题。当某个下游算子出现问题时，导致其上游算子数据积压而无法及时消费。上游算子的数据积压到一定程度，例如在数据队列已满的情况下，会导致上游算子的上游算子也出现数据积压，从而导致整条数据流消费缓慢。以上现象称为数据流反压。出现反压时由于下游问题算子不消费数据或者消费较慢，导致数据积压持续加重，直到数据流阻塞。

出现反压时目前的解决方案是找出问题单点机器，解决问题或迁移作业到其他机器来疏通数据流。目前的解决方案只能在数据流阻塞之后解决问题，故障处理效率较低。

发明内容

本申请提供了一种数据分发方法、装置、设备以及存储介质。

根据本申请的一方面，提供了一种数据分发方法，包括：

查询下游处理单元中的数据分片的排序信息，排序信息是对下游处理单元的数据分片按照待处理数据量进行排序得到的；

基于数据分片的排序信息，向下游处理单元中的数据分片进行数据分发。

根据本申请的另一方面，提供了一种数据分发装置，包括：

查询单元，用于查询下游处理单元中的数据分片的排序信息，排序信息是对下游处理单元的数据分片按照待处理数据量进行排序得到的；

分发单元，用于基于数据分片的排序信息，向下游处理单元中的数据分片进行数据分发。

根据本申请的又一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本申请任意一项实施例所提供的方法。

根据本申请的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使该计算机执行本申请任意一项实施例所提供的方法。

上述申请中的一个实施例具有如下优点或有益效果：根据下游处理单元的数据处理能力向下游处理单元中的数据分片进行数据分发，使数据向处理能力快的处理单元倾斜，能够有效地解决数据积压、数据流阻塞的问题，有效地提高数据流的处理速度与效率。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请一实施例的数据分发方法的流程图；

图2是根据本申请一实施例的数据分发方法的流式计算框架示意图；

图3是根据本申请另一实施例的数据分发方法的流程图；