[发明专利]数据分发方法、装置、设备以及存储介质

权利要求书

1.一种数据分发方法，包括：

查询下游处理单元中的数据分片的排序信息，所述排序信息是对所述下游处理单元的数据分片按照待处理数据量进行排序得到的；

基于所述数据分片的排序信息，向所述下游处理单元中的数据分片进行数据分发。

2.根据权利要求1所述的方法，其中，基于所述数据分片的排序信息，向所述下游处理单元中的数据分片进行数据分发，包括：

基于所述数据分片的排序信息，得到在所述下游处理单元的所有数据分片中待处理数据量最小的数据分片；

将待分发数据分发给所述待处理数据量最小的数据分片。

3.根据权利要求2所述的方法，所述方法还包括：将所述下游处理单元中的各个数据分片中的待处理数据量的大小作为结点的值创建小顶堆；

基于所述数据分片的排序信息，得到在所述下游处理单元的所有数据分片中待处理数据量最小的数据分片，包括：将所述小顶堆的堆顶结点对应的数据分片确定为所述待处理数据量最小的数据分片。

4.根据权利要求1至3中任一项所述的方法，其中，基于所述数据分片的排序信息，向所述下游处理单元中的数据分片进行数据分发之后，还包括：

将所述待分发数据的数据量累计到所述下游处理单元中对应的数据分片的待处理数据量中；

根据累计之后的所述下游处理单元中的各个数据分片中的待处理数据量，对所述小顶堆进行调整。

5.根据权利要求4所述的方法，其中，根据累计之后的所述下游处理单元中的各个数据分片中的待处理数据量，对所述小顶堆进行调整，还包括：

在分发的数据量达到预设阈值的情况下，按照各个数据分片中的待处理数据量对所述小顶堆进行调整。

6.根据权利要求1至3中任一项所述的方法，所述方法还包括：

响应接收到所述下游处理单元发送的数据分片处理完成的数据量信息，在所述小顶堆中更新与所述处理完成的数据量信息对应的结点的值；

根据更新后的结点的值，对所述小顶堆进行调整。

7.一种数据分发装置，包括：

查询单元，用于查询下游处理单元中的数据分片的排序信息，所述排序信息是对所述下游处理单元的数据分片按照待处理数据量进行排序得到的；

分发单元，用于基于所述数据分片的排序信息，向所述下游处理单元中的数据分片进行数据分发。

8.根据权利要求7所述的装置，其中，所述分发单元包括：

排序子单元，用于基于所述数据分片的排序信息，得到在所述下游处理单元的所有数据分片中待处理数据量最小的数据分片；

分发子单元，用于将待分发数据分发给所述待处理数据量最小的数据分片。

9.根据权利要求8所述的装置，所述装置还包括创建单元，所述创建单元用于：将所述下游处理单元中的各个数据分片中的待处理数据量的大小作为结点的值创建小顶堆；

所述排序子单元用于：将所述小顶堆的堆顶结点对应的数据分片确定为所述待处理数据量最小的数据分片。

10.根据权利要求7至9中任一项所述的装置，所述装置还包括调整单元，所述调整单元包括：

累计子单元，用于将所述待分发数据的数据量累计到所述下游处理单元中对应的数据分片的待处理数据量中；

调整子单元，用于根据累计之后的所述下游处理单元中的各个数据分片中的待处理数据量，对所述小顶堆进行调整。

11.根据权利要求10所述的装置，其中，所述调整子单元还用于：

在分发的数据量达到预设阈值的情况下，按照各个数据分片中的待处理数据量对所述小顶堆进行调整。