[发明专利]一种面向数据挖掘云的资源调度方法

摘要

本发明提出一种面向数据挖掘云的资源调度方法。其将CPU、内存封装为基本计算单元。同时，将所需部署的软件封装为统一的虚拟机镜像。在这一基础上为不同规模的计算任务统一配置需求模板。在系统运行过程中，计算层中的数据挖掘引擎，向Pass层中的资源调度系统提出调度工单。根据工单调用对应的模板，计算所需的虚拟机数量。同时，根据全部虚拟机的运行状态，对现有的应用虚拟机资源进行压缩，利用迁移等手段实现应用虚拟机的余量资源回收。在回收资源以及余量资源合并的基础上，对可利用虚拟机资源进行统一组织。根据虚拟机数量以及对应的镜像实现快速部署与启动。在任务执行完毕后，根据系统状态，回收资源，保证其正常运转。

主权项

1.一种面向数据挖掘云的资源调度方法，其特征在于：所述资源调度针对的是可伸缩应用虚拟机的资源调度，所述资源调度方法包括如下步骤：第一步：基于统一资源指标约数规格定制基本计算单元，将基本计算单元封装为可伸缩应用虚拟机；所述统一资源指标约数规格包括：CPU核数、内存大小；在后续的资源调度中基于基本计算单元实现可伸缩应用虚拟机的资源调度，基本计算单元能够根据计算任务的需求进行动态创建、维护和撤销；第二步：针对云环境中各种计算任务定义资源需求模板，通过资源需求模板实现计算任务资源需求与底层可调度资源之间的匹配；第三步：建立操作栈，通过操作栈实现资源调度操作的阻塞与操作序列组织管理；第四步：在计算任务启动阶段，计算任务提出的资源调度请求，根据计算任务定义的资源需求模板，计算所需的可伸缩应用虚拟机资源量；第五步：获取当前系统中全部可伸缩应用虚拟机的预留资源总量，根据第四步计算任务所需的资源量进行匹配，确定最终需要压缩的可伸缩虚拟机队列；第六步：在操作栈中构建迁移操作，通过所述迁移操作将第五步得到的可伸缩虚拟机队列中可伸缩应用虚拟机进行迁移，释放对应的计算资源；第七步：汇总释放的计算资源和预留的计算资源得到全部可用计算资源，构造编排操作，通过所述编排操作实现基本计算单元的统一部署；第八步：完成计算资源伸缩，反馈给计算任务等待其执行上层数据挖掘与计算任务在等待过程中，阻塞针对当前基本计算单元的资源调度操作；第九步：计算任务执行完毕后，计算任务提交资源回收请求，调度系统接受该请求；根据计算任务标识在操作栈中获取对应的迁移操作信息；第十步：根据迁移操作信息，将所创建的基本计算单元对应的可伸缩应用虚拟机撤销，回收计算资源；第十一步：根据迁移操作信息，为本次资源调度中迁移的可伸缩应用虚拟机重新构造初始资源环境，并将其迁移到初始资源环境中；第十二步：完成全部资源调度，在操作栈中注销当前操作，解除资源阻塞。