[发明专利]用于spark streaming的资源动态分配和反馈方法及装置

权利要求书

1.一种用于spark streaming的资源动态分配方法，包括：

响应于首次接收的spark streaming任务数据流，计算处理所述spark streaming任务数据流需要使用的初始资源并向资源管理器发送初始资源使用申请，其中，所述初始资源对应多台处理设备；

基于接收的与所述初始资源对应的多台处理设备反馈的运行时指标数据，计算所述多台处理设备的负载情况；

至少基于所述多台处理设备的负载情况，周期性地计算与所述spark streaming任务数据流对应的动态分配资源并向所述资源管理器发送动态资源分配申请。

2.根据权利要求1所述的方法，其中，所述响应于首次接收的spark streaming任务数据流，计算处理所述spark streaming任务数据流需要使用的初始资源并向资源管理器发送初始资源使用申请包括：

响应于首次接收的spark streaming任务数据流，获取所述数据流的第一到达速率；

基于所述第一到达速率，计算需要使用的初始资源，其中，所述初始资源对应多台处理设备；

向资源管理器发送初始资源使用申请，并基于所述资源管理器的反馈搭建多条数据传输通道对接所述多台处理设备。

3.根据权利要求2所述的方法，其中，所述至少基于所述多台处理设备的负载情况，周期性地计算与所述spark streaming任务数据流对应的动态分配资源并向所述资源管理器发送动态资源分配申请包括：

获取所述spark streaming任务数据流的第二达到速率；

基于所述第二达到速率和所述多台处理设备的负载情况，周期性地计算计算与所述spark streaming任务数据流对应的动态分配资源，其中，所述动态分配资源包括增加处理设备、减少处理设备和维持现状；

若需要增加或减少处理设备，向所述资源管理器发送动态资源分配申请，并基于所述资源管理器的反馈搭建或拆除某些数据传输通道对应于增加或删除的某些处理设备。

4.根据权利要求3所述的方法，其中，所述若需要增加或减少处理设备，向所述资源管理器发送动态资源分配申请包括：

若需要减少处理设备，基于所述多台处理设备的负载情况确定负载为零的处理设备的数量；

若需要减少的设备的数量不大于负载为零的处理设备的数量，则按照所述需要减少的设备的数量相应地减少负载为零的处理设备，并反馈给所述资源管理器；

若需要减少的设备的数量大于负载为零的处理设备的数量，则减少所有负载为零的处理设备，并反馈给所述资源管理器；

若需要增加处理设备，则向所述资源管理器发送动态资源增加申请。

5.根据权利要求1-4中任一项所述的方法，其中，所述运行时指标包括以下一个或多个：

处理延迟、每秒处理消息数、内存使用率、CPU使用率、磁盘IO以及网络流量。

6.一种用于spark streaming的资源动态反馈方法，包括：

接收并处理spark streaming任务数据流中的子数据流；

采集对所述子数据流的处理状态以及处理所述子数据流时的运行时指标，其中，所述处理状态包括处理中和已完成；

周期性地上报所述子数据流的处理状态和运行时指标。

7.一种用于spark streaming的资源动态分配装置，包括：

初始资源申请模块，配置为响应于首次接收的spark streaming任务数据流，计算处理所述spark streaming任务数据流需要使用的初始资源并向资源管理器发送初始资源使用申请，其中，所述初始资源对应多台处理设备；

负载计算模块，配置为基于接收的与所述初始资源对应的多台处理设备反馈的运行时指标数据，计算所述多台处理设备的负载情况；

动态分配模块，配置为至少基于所述多台处理设备的负载情况，周期性地计算与所述spark streaming任务数据流对应的动态分配资源并向所述资源管理器发送动态资源分配申请。