[发明专利]用于spark streaming的资源动态分配和反馈方法及装置在审
申请号: | 201811482797.8 | 申请日: | 2018-12-05 |
公开(公告)号: | CN109684077A | 公开(公告)日: | 2019-04-26 |
发明(设计)人: | 陆峰;覃江;黄彬;吴*飞;肖通 | 申请(专利权)人: | 苏州思必驰信息科技有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 北京商专永信知识产权代理事务所(普通合伙) 11400 | 代理人: | 方挺;黄谦 |
地址: | 215123 江苏省苏州市苏*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 处理设备 任务数据流 资源动态分配 资源管理器 反馈 申请 发送 动态分配资源 动态资源分配 计算处理 首次接收 指标数据 资源使用 运行时 扩缩 干预 响应 分配 | ||
1.一种用于spark streaming的资源动态分配方法,包括:
响应于首次接收的spark streaming任务数据流,计算处理所述spark streaming任务数据流需要使用的初始资源并向资源管理器发送初始资源使用申请,其中,所述初始资源对应多台处理设备;
基于接收的与所述初始资源对应的多台处理设备反馈的运行时指标数据,计算所述多台处理设备的负载情况;
至少基于所述多台处理设备的负载情况,周期性地计算与所述spark streaming任务数据流对应的动态分配资源并向所述资源管理器发送动态资源分配申请。
2.根据权利要求1所述的方法,其中,所述响应于首次接收的spark streaming任务数据流,计算处理所述spark streaming任务数据流需要使用的初始资源并向资源管理器发送初始资源使用申请包括:
响应于首次接收的spark streaming任务数据流,获取所述数据流的第一到达速率;
基于所述第一到达速率,计算需要使用的初始资源,其中,所述初始资源对应多台处理设备;
向资源管理器发送初始资源使用申请,并基于所述资源管理器的反馈搭建多条数据传输通道对接所述多台处理设备。
3.根据权利要求2所述的方法,其中,所述至少基于所述多台处理设备的负载情况,周期性地计算与所述spark streaming任务数据流对应的动态分配资源并向所述资源管理器发送动态资源分配申请包括:
获取所述spark streaming任务数据流的第二达到速率;
基于所述第二达到速率和所述多台处理设备的负载情况,周期性地计算计算与所述spark streaming任务数据流对应的动态分配资源,其中,所述动态分配资源包括增加处理设备、减少处理设备和维持现状;
若需要增加或减少处理设备,向所述资源管理器发送动态资源分配申请,并基于所述资源管理器的反馈搭建或拆除某些数据传输通道对应于增加或删除的某些处理设备。
4.根据权利要求3所述的方法,其中,所述若需要增加或减少处理设备,向所述资源管理器发送动态资源分配申请包括:
若需要减少处理设备,基于所述多台处理设备的负载情况确定负载为零的处理设备的数量;
若需要减少的设备的数量不大于负载为零的处理设备的数量,则按照所述需要减少的设备的数量相应地减少负载为零的处理设备,并反馈给所述资源管理器;
若需要减少的设备的数量大于负载为零的处理设备的数量,则减少所有负载为零的处理设备,并反馈给所述资源管理器;
若需要增加处理设备,则向所述资源管理器发送动态资源增加申请。
5.根据权利要求1-4中任一项所述的方法,其中,所述运行时指标包括以下一个或多个:
处理延迟、每秒处理消息数、内存使用率、CPU使用率、磁盘IO以及网络流量。
6.一种用于spark streaming的资源动态反馈方法,包括:
接收并处理spark streaming任务数据流中的子数据流;
采集对所述子数据流的处理状态以及处理所述子数据流时的运行时指标,其中,所述处理状态包括处理中和已完成;
周期性地上报所述子数据流的处理状态和运行时指标。
7.一种用于spark streaming的资源动态分配装置,包括:
初始资源申请模块,配置为响应于首次接收的spark streaming任务数据流,计算处理所述spark streaming任务数据流需要使用的初始资源并向资源管理器发送初始资源使用申请,其中,所述初始资源对应多台处理设备;
负载计算模块,配置为基于接收的与所述初始资源对应的多台处理设备反馈的运行时指标数据,计算所述多台处理设备的负载情况;
动态分配模块,配置为至少基于所述多台处理设备的负载情况,周期性地计算与所述spark streaming任务数据流对应的动态分配资源并向所述资源管理器发送动态资源分配申请。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州思必驰信息科技有限公司,未经苏州思必驰信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811482797.8/1.html,转载请声明来源钻瓜专利网。