[发明专利]动态混洗重新配置

权利要求书

1.一种通过数据处理装置执行的计算机实现的方法，所述方法包括：

响应于接收到对数据流执行混洗操作的请求，所述混洗操作是通过键对所述数据流中设键的记录进行聚组的操作，所述请求包括初始键范围的集合，每个初始键范围对应于所述数据流的部分：

生成混洗器配置，所述混洗器配置将来自混洗器的集合的混洗器指派至所述初始键范围中的每一个，每个混洗器被配置为从一个或多个写入器接收与所指派的键范围相关联的所述数据流的部分，并且将所述数据流的所述部分提供至一个或多个读取器；

启动所述混洗器的集合以对所述数据流执行所述混洗操作；

分析元数据统计以识别混洗器配置更新事件，所述元数据统计在所述混洗操作期间由所述混洗器的集合产生并且指示所述混洗器的集合中的每个混洗器的负荷统计；以及

在识别所述混洗器配置更新事件之后并在所述混洗操作期间，至少部分基于所述元数据统计更改所述混洗器配置以产生混洗器至键范围的指派，混洗器至键范围的所述指派不同于混洗器至所述初始键范围的指派。

2.根据权利要求1所述的方法，其中，更改所述混洗器配置包括：将两个或多个键范围合并以产生经合并的键范围并且将经合并的键范围指派至混洗器，经合并的键范围包括与所述两个或多个键范围相关联的键的范围的并集。

3.根据权利要求1所述的方法，其中，更改所述混洗器配置包括：拆分键范围以产生两个或多个经拆分的键范围并将所述两个或多个经拆分的键范围指派至两个或多个混洗器。

4.根据权利要求1所述的方法，其中，更改所述混洗器配置包括：将键范围指派至两个或多个混洗器。

5.根据权利要求1所述的方法，其中，分析所述元数据统计进一步包括：

识别与第一混洗器相关联的第一键范围；

至少部分基于所述元数据统计，确定所述第一混洗器正在经历高负荷状态；以及

将所述第一混洗器重新指派至包括所述第一键范围的子集的经修改的键范围。

6.根据权利要求1所述的方法，其中，分析所述元数据统计进一步包括：

识别与第一混洗器相关联的第一键范围；

至少部分基于所述元数据统计，确定所述第一混洗器正在经历低负荷状态；以及

将所述第一混洗器重新指派至包括所述第一键范围和不同于所述第一键范围的第二键范围的经修改的键范围。

7.根据权利要求1所述的方法，进一步包括：

识别所述数据流的部分已经被所述一个或多个读取器消耗的指示；以及

对与数据集的所述部分相关联的一个或多个资源执行无用信息收集操作。

8.根据权利要求1所述的方法，进一步包括：

从所述一个或多个读取器接收消耗元数据，所述消耗元数据指示对于所述一个或多个读取器中的每一个，数据集的消耗进展；以及

如果所述消耗元数据指示与所述一个或多个资源相关联的所述数据集的所述部分已经被消耗，对与所述数据集相关联的一个或多个资源执行无用信息收集操作。