[发明专利]分布式处理方法、存储介质、和分布式处理系统

摘要

对数据集合的分布式处理包括接收用于对分布式处理系统进行配置的信息。形成组件的第一配置，组件的所述第一配置包括分布在计算资源(190至194)之中的数据元素的源(110)以及被配置用于处理数据元素的工作器(240)。每个数据元素包括分区值，所述分区值根据分区规则来标识所述工作器的子集。在第一处理时期内从所述源接受所述数据集合的第一部分的数据元素，并且通过所述第一配置来路由所述数据元素。在接受所述数据集合的第一部分之后，启动配置更改，变成第二配置。执行组件的配置之间的一系列两次或更多次转变以得到一系列经修改的配置，所述经修改的配置中的最后一个对应于所述第二配置。在第二处理时期内从所述第二配置的源接受其他的数据元素。

主权项

1.一种用于对数据集合进行分布式处理的方法，所述方法包括：通过输入设备或端口接收用于配置分布式处理系统的信息，所述配置包括形成所述分布式处理系统的组件的第一配置，所述第一配置包括所述数据集合的数据元素的多个源以及被配置用于处理所述数据集合的数据元素的多个工作器，所述源和所述工作器分布在多个计算资源之中，其中，每个数据元素包括分区值，所述分区值根据所述第一配置的分区规则来标识所述第一配置的所述多个工作器的子集；以及在至少两个处理时期期间在所述分布式处理系统中处理数据，所述处理包括：在第一处理时期内从所述源接受所述数据集合的第一部分的数据元素，并且通过所述第一配置来路由所述数据元素并完成对所述数据元素中的至少一些的处理，其中，所述第一部分的所述数据元素中的其他数据元素在所述第一配置的组件处保持排队；在接受所述数据集合的第一部分之后，启动所述分布式处理系统从所述第一配置到第二配置的配置更改；在启动所述配置更改之后，执行所述系统的组件的配置之间的一系列两次或更多次转变以得到组件的一系列经修改的配置，并且在每次转变之后致使在所述经修改的配置的组件之间进行数据元素的传送，其中，所述经修改的配置中的最后一个对应于所述第二配置，由此完成从所述第一配置到所述第二配置的转变；以及在完成到所述第二配置的转变之后，在第二处理时期内从所述第二配置的多个源接受所述数据集合中的其他数据元素。