[发明专利]用于Storm流计算框架的方法和装置有效
| 申请号： | 201510888693.7 | 申请日： | 2015-12-04 |
| 公开（公告）号： | CN105404554B | 公开（公告）日： | 2019-09-13 |
| 发明（设计）人： | 韩宇 | 申请（专利权）人： | 东软集团股份有限公司 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50 |
| 代理公司： | 北京英创嘉友知识产权代理事务所(普通合伙) 11447 | 代理人： | 王晓霞;南毅宁 |
| 地址： | 110179 辽*** | 国省代码： | 辽宁;21 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种用于Storm流计算框架的方法和装置。Storm流计算框架包括多个处理组件，多个处理组件设置有多个处理并发线程，所述方法包括：分别统计多个处理组件中的每个处理组件在多个时间段中的每个时间段内的工作量，得到工作量历史规律；以及根据工作量历史规律来调整每个时间段内多个处理并发线程在多个处理组件之间的数量配比，使得在每个时间段内，多个处理并发线程中的任意两个处理并发线程的工作量的比率处于预定的阈值范围内。本发明基于统计的工作量的历史规律，动态地调整处理组件之间的并发线程的数量配比，以使处理组件的并发线程以更优的拓扑进行分布，从而能够充分地利用集群的计算资源，提高了执行效率。 | ||
| 搜索关键词： | 并发线程 处理组件 工作量 时间段 历史规律 方法和装置 数量配比 调整处理 计算资源 集群 拓扑 统计 | ||
【主权项】：
1.一种用于Storm流计算框架的方法，所述Storm流计算框架包括多个处理组件，所述多个处理组件设置有多个处理并发线程，所述多个处理组件包括第一处理组件和第二处理组件，所述方法包括：分别统计所述多个处理组件中的每个处理组件在多个时间段中的每个时间段内的工作量，得到工作量历史规律；以及根据所述工作量历史规律来调整所述每个时间段内所述多个处理并发线程在所述多个处理组件之间的数量配比，使得在所述每个时间段内，所述多个处理并发线程中的任意两个处理并发线程的工作量的比率处于预定的阈值范围内，其中，根据所述工作量历史规律来调整所述每个时间段内所述多个处理并发线程在所述多个处理组件之间的数量配比，包括：在所述多个时间段中的一个时间段内第一平均工作量与第二平均工作量的比率大于预定的比率阈值的情况下，在所述第一处理组件中增加预定数量的处理并发线程，并在所述第二处理组件中减少所述预定数量的处理并发线程，其中，所述第一平均工作量为所述第一处理组件中的处理并发线程的平均工作量，所述第二平均工作量为所述第二处理组件中的处理并发线程的平均工作量，或者，根据所述工作量历史规律来调整所述每个时间段内所述多个处理并发线程在所述多个处理组件之间的数量配比，包括：在所述多个时间段中的一个时间段内工作量比率与处理并发线程数比率的比率大于预定的比率阈值的情况下，在所述第一处理组件中增加预定数量的处理并发线程，并在所述第二处理组件中减少所述预定数量的处理并发线程，其中，所述工作量比率为所述第一处理组件的工作量与所述第二处理组件的工作量的比率，所述处理并发线程数比率为所述第一处理组件的处理并发线程数与所述第二处理组件的处理并发线程数的比率。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于东软集团股份有限公司，未经东软集团股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201510888693.7/，转载请声明来源钻瓜专利网。
