[发明专利]一种并行数据分区方法、装置、电子设备及存储介质

说明书

本发明提供了一种并行数据分区方法、装置、电子设备及存储介质，其中，方法应用于上游算子节点模块与下游算子节点模块之间的数据交互，上游算子节点模块包括多个上游算子节点，下游算子节点模块包括多个下游算子节点，且方法包括：多个上游算子节点并行获取各自数据子流的梗概；对多个数据子流的梗概进行聚合，得到待分区数据流的梗概；利用最短处理时间优先算法对待分区数据流的梗概进行构造，得到新高频键值的路由表；根据新高频键值的路由表，对待分区数据流向下游算子节点模块进行分发。本发明解决了现有的有状态算子的主动式数据分区方法无法并行化使用的问题，可以很好地适应并行数据流分发模式。

技术领域

本发明涉及数据处理技术领域，尤其是指一种并行数据分区方法、装置、电子设备及存储介质。

背景技术

根据算子的处理逻辑与数据流中数据元组的键值是否有关，数据级负载的均衡方式分为两种：基于元组的(tuple-based)和基于键值的(key-based)。基于元组的数据级负载均衡方式以单个元组为分发单位，通常采用随机分组策略。而随机分组策略使用随机或循环分发的方式使数据元组的分发数量尽可能平衡，但由于它忽视了数据元组的内容，因此只适用于无状态的算子(statele ss operator)。如果有状态的算子(statefuloperator)使用随机分组策略，则无法保证算子的状态完整性。基于键值的数据级负载均衡方式与数据元组的键值有关，通常采用键值分组策略。而键值分组策略专用于与键值有关的、有状态的算子的数据分发。键值分组策略的实现方式通常为采用哈希函数h(t)对下游算子并行度取模，且这种实现方式是简单、方便的，是确定性的。然而，当数据元组在某个维度(属性)上的出现频次差异较大时，基于哈希函数h(t)的键值分组策略会导致某些下游算子节点所接收的数据量过高的问题。

因此，针对基于哈希函数h(t)实现的键值分组策略所导致的下游算子节点之间的数据量分配结果不均衡的问题，学者们纷纷提出了各种各样的键值分组策略，其中几个最主要的键值分组策略为Gedik(Gedik B.Partitioning fun ctions for stateful dataparallelism in stream processing[J].The VL DB Journal,2014,23(4):517-539)提出的区别对待高频键值与低频键值的混合路由分发方法，即分区函数(partitioningfunction)；Fang等人(Fang J,Z hangR,FuTZJ,etal.Parallel Stream ProcessingAgainst Workload Skewne ss and Variance.[C].Washington,DC,USA.2017.Association for Computing Machinery:15-26)提出的支持动态分发数据的框架；Rivetti等人(Rivetti N,Querzoni L,Anceaume E,et al.Efficient key groupingfor near-op timal load balancing in streamprocessingsystems.[C].Oslo,Norway.2015.AssociationforComputingMachinery:80-91)提出的能够感知数据元组分布的主动式数据分区策略DKG(Distribution-aware Key Grouping)。