[发明专利]一种并行数据分区方法、装置、电子设备及存储介质

权利要求书

1.一种并行数据分区方法，其特征在于，基于并行数据分区装置实现，所述并行数据分区装置包括上游算子节点模块、多个调度模块、构造模块及下游算子节点模块，其中，所述上游算子节点模块包括多个上游算子节点，所述下游算子节点模块包括多个下游算子节点，多个所述调度模块与多个上游算子节点之间具有一一对应关系，待分区数据流包括多个具有多个数据元组的数据子流，多个所述数据子流与多个上游算子节点之间具有一一对应关系，且所述调度模块、所述构造模块及所述下游算子节点模块均以有限状态机的形式周期性运行；

所述方法包括如下步骤：

所述上游算子节点模块中多个所述上游算子节点并行获取各自数据子流的梗概；其中，所述数据子流的梗概为数据子流的低频键值的频次数组及[高频键值，高频键值的频次]对；

多个所述调度模块分别提取多个所述上游算子节点内每一数据子流的梗概；

所述构造模块对多个所述数据子流的梗概进行聚合，得到待分区数据流的梗概，并利用最短处理时间优先算法对所述待分区数据流的梗概进行构造，得到新高频键值的路由表；

多个所述调度模块根据所述新高频键值的路由表，对所述待分区数据流向下游算子节点模块进行分发。

2.如权利要求1所述的并行数据分区方法，其特征在于，所述利用最短处理时间优先算法对所述待分区数据流的梗概进行构造，得到新高频键值的路由表，具体包括如下步骤：

对所述待分区数据流的所有高频键值及[高频键值，高频键值的频次]对进行排序；

将所述待分区数据流的低频键值的频次数组加至历史数据分发记录数组上，得到新数据分发记录数组；

以所述新数据分发记录数组为基础，将所述待分区数据流的多个高频键值按其频次由大到小的顺序，利用最短处理时间优先算法依次进行构造，即将频次最高的所述高频键值映射至负载最低的下游算子节点，不断循环，最后得到新高频键值的路由表。

3.如权利要求2所述的并行数据分区方法，其特征在于，所述利用最短处理时间优先算法对所述待分区数据流的梗概进行构造，得到新高频键值的路由表之后，还包括如下步骤：

对所述新高频键值的路由表与旧高频键值的路由表进行比对，得到键值状态的迁移表；

根据所述键值状态的迁移表，对所述下游算子节点模块内各下游算子节点进行键值状态迁移。

4.如权利要求1所述的并行数据分区方法，其特征在于，所述多个所述上游算子节点并行获取各自数据子流的梗概，具体包括如下步骤：

多个所述上游算子节点并行获取各自数据子流的[高频键值，高频键值的频次]对；

多个所述上游算子节点并行获取各自数据子流的低频键值的频次数组。

5.如权利要求4所述的并行数据分区方法，其特征在于，所述多个所述上游算子节点并行获取各自数据子流的[高频键值，高频键值的频次]对，具体包括如下步骤：

多个所述上游算子节点分别利用Space Saving算法对各自的数据子流进行识别，得到所述数据子流的高频键值、高频键值的频次；

多个所述上游算子节点对各自的数据子流的高频键值及高频键值的频次进行组合，得到所述数据子流的[高频键值，高频键值的频次]对。

6.如权利要求5所述的并行数据分区方法，其特征在于，所述多个所述上游算子节点并行获取各自数据子流的低频键值的频次数组，具体包括如下步骤：

多个所述上游算子节点分别利用哈希函数将各自的数据子流中的全部数据元组映射至各自的数组，所述数组中元素的数量与下游算子节点模块中下游算子节点的数量相等；

多个所述上游算子节点分别利用各自的数组减去各自的数据子流的高频键值的频次，得到所述数据子流的低频键值，在下游算子节点模块中的每一下游算子节点上的映射频次；

多个所述上游算子节点分别汇总各自的数据子流的低频键值，在下游算子节点模块中的每一下游算子节点上的映射频次，得到所述数据子流的低频键值的频次数组。