[发明专利]一种基于数据流预测的Storm任务伸缩调度算法有效
| 申请号： | 201710385355.0 | 申请日： | 2017-05-26 |
| 公开（公告）号： | CN107038071B | 公开（公告）日： | 2020-06-09 |
| 发明（设计）人： | 熊安萍;段杭彪;蒋溢;祝清意;蒋亚雄 | 申请（专利权）人： | 重庆邮电大学 |
| 主分类号： | G06F9/48 | 分类号： | G06F9/48;G06F9/50 |
| 代理公司： | 北京同恒源知识产权代理有限公司 11275 | 代理人： | 廖曦 |
| 地址： | 400065 *** | 国省代码： | 重庆;50 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种基于数据流预测的Storm任务伸缩调度算法，属于数据交换网络领域。通过监控模块获得用户提交的Topology任务的实时运行数据，求解在满足组件负载的情况下Topology中相连组件的并行度，然后迭代求出Topology中所有组件的并行度。利用时间序列模型来预测Topology要处理的数据量，并求得在该情况下Topology中开始组件spout的较优并行度，获得预测情况下的Topology中各组件的较优并行度，并进行调度。在调度中使用线上调度算法，最大限度减少结点间的网络通信并保证集群的负载均衡。本发明克服了现有对Topology中各组件间的关联性考虑的不足，弥补了不能快速高效地求解到用户提交Topology中各组件的较优并行度的不足，具有提前预测变化、提高吞吐量、降低处理时延的优点。 | ||
| 搜索关键词： | 一种 基于 数据流 预测 storm 任务 伸缩 调度 算法 | ||
【主权项】：
一种基于数据流预测的Storm任务伸缩调度算法，其特征在于：该算法包括以下步骤：S1：设置目标函数；S2：求解Topology中worker数和各个组件的executor数；S3：预测Topology要处理的数据流并求解开始组件spout所需的executor数；S4：任务调度。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于重庆邮电大学，未经重庆邮电大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710385355.0/，转载请声明来源钻瓜专利网。
