[发明专利]数据分发方法、装置、设备及存储介质

说明书

本发明实施例公开了一种数据分发方法、装置、设备及存储介质。该方法包括：获取并行查询任务中各通信操作符的并行度；针对每个通信操作符，根据所述并行度确定当前通信操作符的至少一个数据分发节点；当数据传输至当前通信操作符时，将数据在所述至少一个数据分发节点间进行分发。本发明实施例提供的数据分发方法，在根据各通信操作符的并行度确定的数据分发节点间分发数据，无需在当前并行查询任务中的所有节点间分发数据，减少数据传输量，从而提高数据查询的效率。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据分发方法、装置、设备及存储介质。

背景技术

目前，并行查询数据的模型如下：一个查询任务由N的操作符完成，N个操作符自下而上排列构成查询任务树，操作符包括通信操作符、叶子操作符、一元操作符和二元操作符。其中，叶子操作符没有子操作符，一元操作符包括一个子操作符，二元操作符包括两个子操作符。一个查询任务由多个节点并行执行，在一个节点上，数据按照查询任务树自下而上的操作符中依次传输。通信操作符接收下面操作符传上来的数据，然后在同一层的不同节点之间进行分发。现有技术中，若并行查询模型中包括多个节点组成，则每次在执行查询任务时，数据都会在这多个节点间进行分发，当查询的数据量较少时，数据分发的数量反而大于实际查询的数据量，造成了不必要的数据传输，降低数据查询任务的效率。

发明内容

本发明实施例提供一种数据分发方法、装置、设备及存储介质，可以减少数据传输量，提高数据查询的效率。

第一方面，本发明实施例提供了一种数据分发方法，该方法包括：

获取并行查询任务中各通信操作符的并行度；

针对每个通信操作符，根据所述并行度确定当前通信操作符的至少一个数据分发节点；

当数据传输至当前通信操作符时，将数据在所述至少一个数据分发节点间进行分发。

进一步地，所述通信操作符为一元操作符的子操作符或者二元操作符的子操作符，所述获取并行查询任务中各通信操作符的并行度，包括：

获取所述一元操作符的初始并行度或者所述二元操作符的并行度；

将所述一元操作符的初始并行度或者所述二元操作符的并行度确定为所述通信操作符的并行度。

进一步地，若所述二元操作符的两个子操作符均为子通信操作符，则获取所述二元操作符的并行度，包括：

分别获取所述两个子操作符的初始并行度；

按照设定算法对所述两个子操作符的初始并行度进行计算，获得所述二元操作符的并行度。

进一步地，若所述二元操作符的两个子操作符中一个为子通信操作符，另一个为一元子操作符，则获取所述二元操作符的并行度，包括：

若所述一元子操作符的子操作符为子通信操作符，则将所述子通信操作符的初始并行度确定为所述一元子操作符的初始并行度；按照设定算法对所述两个子操作符的初始并行度进行计算，获得所述二元操作符的并行度；

若所述一元子信操作符的子操作符为非通信操作符，则将所述二元操作符的并行度确定为所述并行查询任务的节点数量。

进一步地，若所述二元操作符的两个子操作符均为一元子操作符，则获取所述二元操作符的并行度，包括：

若两个一元子操作符中至少一个的子操作符为非通信操作符，则将所述二元操作符的并行度确定为所述并行查询任务的节点数量；

若两个一元子操作符的子操作符均为子通信操作符，则将两个子通信操作符的初始并行度分别确定为对应一元子操作符的初始并行度，按照设定算法对两个子操作符的初始并行度进行计算，获得所述二元操作符的并行度。