[发明专利]一种并行数据分区方法、装置、电子设备及存储介质

摘要

本发明提供了一种并行数据分区方法、装置、电子设备及存储介质，其中，方法应用于上游算子节点模块与下游算子节点模块之间的数据交互，上游算子节点模块包括多个上游算子节点，下游算子节点模块包括多个下游算子节点，且方法包括：多个上游算子节点并行获取各自数据子流的梗概；对多个数据子流的梗概进行聚合，得到待分区数据流的梗概；利用最短处理时间优先算法对待分区数据流的梗概进行构造，得到新高频键值的路由表；根据新高频键值的路由表，对待分区数据流向下游算子节点模块进行分发。本发明解决了现有的有状态算子的主动式数据分区方法无法并行化使用的问题，可以很好地适应并行数据流分发模式。