[发明专利]用于Storm流计算框架的方法和装置

说明书

本发明公开了一种用于Storm流计算框架的方法和装置。Storm流计算框架包括多个处理组件，多个处理组件设置有多个处理并发线程，所述方法包括：分别统计多个处理组件中的每个处理组件在多个时间段中的每个时间段内的工作量，得到工作量历史规律；以及根据工作量历史规律来调整每个时间段内多个处理并发线程在多个处理组件之间的数量配比，使得在每个时间段内，多个处理并发线程中的任意两个处理并发线程的工作量的比率处于预定的阈值范围内。本发明基于统计的工作量的历史规律，动态地调整处理组件之间的并发线程的数量配比，以使处理组件的并发线程以更优的拓扑进行分布，从而能够充分地利用集群的计算资源，提高了执行效率。

技术领域

本发明涉及计算机领域，具体地，涉及一种用于Storm流计算框架的方法和装置。

背景技术

Storm是一个分布式的实时计算系统，可以方便地在一个计算机集群中编写与扩展复杂的实时计算。Storm流计算框架具有灵活的处理流程构建、高效的分布式并行以及透明容错等特点，能够有效地提高实时流处理应用的开发效率，成为产业界快速构建实时流计算应用的首选。

Storm中应用对数据流的处理逻辑被定义在拓扑(Topology)中，每一个拓扑由多个组件组成，这些组件包括输入源组件(Spout)和处理组件(Bolt)。输入源组件从输入源读取数据并向拓扑里面发出消息(tuple)，而处理组件将来自输入源组件的消息进行处理(例如，过滤、聚合、查询数据库等操作)，产生并输出新的消息。

在Storm流的分布式计算框架的相关技术中，处理组件的处理并发线程数通常是通过硬编码来设置的。这样，写入代码提交以后配置给各个处理组件的处理并发线程数是固定的。在实际运行中，可能有的处理并发线程非常繁忙，而有的处理并发线程非常空闲，出现集群资源不能够有效利用的情况。

发明内容

本发明的目的是提供一种能够有效利用集群资源的用于Storm流计算框架的方法和装置。

为了实现上述目的，本发明提供一种用于Storm流计算框架的方法，所述Storm流计算框架包括多个处理组件，所述多个处理组件设置有多个处理并发线程，所述方法包括：分别统计所述多个处理组件中的每个处理组件在多个时间段中的每个时间段内的工作量，得到工作量历史规律；以及根据所述工作量历史规律来调整所述每个时间段内所述多个处理并发线程在所述多个处理组件之间的数量配比，使得在所述每个时间段内，所述多个处理并发线程中的任意两个处理并发线程的工作量的比率处于预定的阈值范围内。

优选地，所述工作量包括接收的消息数量和/或处理消息所花费的时间。

优选地，所述多个处理组件包括第一处理组件和第二处理组件，所述根据所述工作量历史规律来调整所述每个时间段内所述多个处理并发线程在所述多个处理组件之间的数量配比的步骤包括：根据所述每个时间段内第一平均工作量与第二平均工作量的比率来调整对应的时间段内所述多个处理并发线程在所述第一处理组件与所述第二处理组件之间的数量配比，其中，所述第一平均工作量为所述第一处理组件中的处理并发线程的平均工作量，所述第二平均工作量为所述第二处理组件中的处理并发线程的平均工作量。

优选地，所述根据所述每个时间段内第一平均工作量与第二平均工作量的比率来调整对应的时间段内所述多个处理并发线程在所述第一处理组件与所述第二处理组件之间的数量配比的步骤包括：在所述多个时间段中的一个时间段内所述第一平均工作量与所述第二平均工作量的比率大于预定的比率阈值的情况下，在所述第一处理组件中增加预定数量的处理并发线程，并在所述第二处理组件中减少所述预定数量的处理并发线程。

优选地，所述多个处理组件包括第一处理组件和第二处理组件，所述根据所述工作量历史规律来调整所述每个时间段内所述多个处理并发线程在所述多个处理组件之间的数量配比的步骤包括：根据所述每个时间段内所述第一处理组件的工作量与所述第二处理组件的工作量的比率来调整对应的时间段内所述多个处理并发线程在所述第一处理组件与所述第二处理组件之间的数量配比。