[发明专利]分布式流处理中处理资源的管理方法和装置

说明书

本申请提供一种分布式流处理中处理资源的管理方法，包括：当某个处理单位的处理负荷满足预定拆分条件时，获取所述处理单位的最大对象处理速率；统计所述处理单位负责处理的对象流组中每个对象流的对象产生速率；所述对象流组包括至少一个对象流；将所述对象流组的至少一个子集形成新的对象流组并由其他处理单位负责处理，所述每个子集中所有对象流的对象产生速率的总和不超过对象处理速率峰值；所述对象处理速率峰值根据所述最大对象处理速率确定。上述技术方案实现了在流任务繁忙时根据对象处理速率和对象产生速率自动拆分对象流组来提高流处理速率，能够在业务量增加时及时按照运行情况添加负责处理的处理单位。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种分布式流处理中处理资源的管理方法和装置。

背景技术

在分布式流处理系统中，流处理以任务的方式分散在多个处理单位中进行。每个处理单位对应于一个对象流组，该对象流组中可以包括一个到多个对象流，这些对象流中的对象将作为对应的处理单位的处理对象。以Storm系统为例，当一个拓扑启动运行后，该拓扑的组件(spout或bolt)会被并行化为多个任务，分配给多个Worker(即处理单位)来执行；任务输入为Partition(消息流，一种对象流)中源源不断的消息(一种对象)，可以指派每个Worker负责处理一个到多个Partition中的消息，这个或这些Partition组成了该Worker的消息流组(一种对象流组)。

现有技术中，当对象流被指派给某个处理单位处理后，除非系统管理人员手动改变设置，该对象流中的对象将一直由该处理单位处理。这样，对一些有非规律性的高峰期或者低谷期的业务流，如果需要利用有限的处理资源实现速度有保障的对象处理，往往需要系统管理人员基于对业务量的实时监测来不断手动调整处理对应业务流的处理单位数量，不仅工作量巨大，而且对于业务量的突发性改变，常常会因人工操作耗时较长而难以进行及时调整。

发明内容

有鉴于此，本申请提供一种分布式流处理中处理资源的管理方法，包括：

当某个处理单位的处理负荷满足预定拆分条件时，获取所述处理单位的最大对象处理速率；

统计所述处理单位负责处理的对象流组中每个对象流的对象产生速率；所述对象流组包括至少一个对象流；

将所述对象流组的至少一个子集形成新的对象流组并由其他处理单位负责处理，所述每个子集中所有对象流的对象产生速率的总和不超过对象处理速率峰值；所述对象处理速率峰值根据所述最大对象处理速率确定。

本申请提供的另一种分布式流处理中处理资源的管理方法，包括：

当至少一个处理单位的处理负荷满足预定合并条件时，确定包含所述处理单位和至少一个其他处理单位的集合，所述集合中所有处理单位的对象处理速率的总和不超过对象处理速率最大参考值；所述对象处理速率最大参考值根据至少一个处理单位的最大对象处理速率确定；

将所述集合中所有处理单位负责处理的对象流组合并为一个新的对象流组并由一个处理单位负责处理。

本申请还提供了一种分布式流处理中处理资源的管理装置，包括：

最大处理速率获取单元，用于当某个处理单位的处理负荷满足预定拆分条件时，获取所述处理单位的最大对象处理速率；

产生速率统计单元，用于统计所述处理单位负责处理的对象流组中每个对象流的对象产生速率；所述对象流组包括至少一个对象流；

对象流组拆分单元，用于将所述对象流组的至少一个子集形成新的对象流组并由其他处理单位负责处理，所述每个子集中所有对象流的对象产生速率的总和不超过对象处理速率峰值；所述对象处理速率峰值根据所述最大对象处理速率确定。

本申请提供的另一种分布式流处理中处理资源的管理装置，包括：