[发明专利]用于spark streaming的资源动态分配和反馈方法及装置

说明书

本发明公开用于spark streaming的资源动态分配和反馈方法及装置，方法包括：响应于首次接收的spark streaming任务数据流，计算处理spark streaming任务数据流需要使用的初始资源并向资源管理器发送初始资源使用申请，其中，初始资源对应多台处理设备；基于接收的与初始资源对应的多台处理设备反馈的运行时指标数据，计算多台处理设备的负载情况；至少基于多台处理设备的负载情况，周期性地计算与spark streaming任务数据流对应的动态分配资源并向资源管理器发送动态资源分配申请。本申请的方案能够实现资源的动态扩缩容，减少人工进行干预，实现资源的动态精准分配和调整。

技术领域

本发明属于spark streaming技术领域，尤其涉及用于spark streaming的资源动态分配和反馈方法及装置。

背景技术

相关技术中，spark已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐。流(Streaming)，在大数据时代为数据流处理，就像水流一样，是数据流；既然是数据流处理，就会想到数据的流入、数据的加工、数据的流出。spark程序是使用一个spark应用实例一次性对一批历史数据进行处理，sparkstreaming是将持续不断输入的数据流转换成多个batch(批处理)分片，使用一批spark应用实例进行处理。Spark Streaming是以Spark Core为核心构建的一种分布式的流式计算框架，适用于对实时任务进行在线任务计算和输出，实现对数据的实时处理。

相似的技术主要用于网络控制器和虚拟机的调度上。例如：平时用户都有网上购物的经历，用户在网站上进行的各种操作通过Spark Streaming流处理技术可以被监控，用户的购买爱好、关注度、交易等可以进行行为分析。在金融领域，通过Spark Streaming流处理技术可以对交易量很大的账号进行监控，防止罪犯洗钱、财产转移、防欺诈等。在网络安全性方面，黑客攻击时有发生，通过Spark Streaming流处理技术可以将某类可疑IP进行监控并结合机器学习训练模型匹配出当前请求是否属于黑客攻击。其他方面，如：垃圾邮件监控过滤、交通监控、网络监控、工业设备监控的背后都是Spark Streaming发挥强大流处理的地方。

现有的一些专利解决网络控制器的资源调度，包括：资源虚拟层，用于从多个底层设备中获取网络资源，并对网络资源进行虚拟化，以得到虚拟化网络资源；核心控制层，用于控制上层应用从资源虚拟层获取虚拟化网络资源，核心控制层分别与资源虚拟层和上层应用相连。根据该专利实施例的软件定义网络控制器，通过核心控制层对上层应用与资源虚拟层的数据交互进行监控，从而提高了网络资源的利用率，实现应用层对网络资源的动态弹性的调度。

另外有一些专利提供一种动态资源调度方法和动态资源调度器，能够提高动态资源调度的效率。该方法包括：确定多个虚拟机迁移动作；确定多个虚拟机迁移动作之间的依赖关系；根据多个虚拟机迁移动作之间的依赖关系，执行多个虚拟机迁移动作。该专利实施例在执行虚拟机迁移动作时考虑它们之间的依赖关系，而非简单地按照顺序执行虚拟机迁移动作，从而能够提高动态资源调度的效率。

发明人在实现本申请的过程中发现：现有技术需要人工对计算任务的负载与承载任务的机器状态进行监控，效率很低，而且容易出错。并且伸缩的原则全凭个人的经验，没有一套统一的标准，伸缩质量得不到保证。

发明内容

本发明实施例提供一种用于spark streaming的资源动态分配和反馈方法及装置，用于至少解决上述技术问题之一。