[发明专利]私有云条件下的大数据混合调度模型

摘要

本发明涉及云计算和大数据技术领域，特别是一种私有云条件下的大数据混合调度模型，包含了访问控制模块、任务分解模块、基于虚拟资源的全局调度器模块、资源虚拟化映射模块、虚拟资源监控模块、物理资源监控模块、基于物理资源的局部调度器模块。本发明为包含物理资源调度和虚拟资源调度，全局调度和局部调度的混合调度器，将用户任务分解为多个独立的子任务并分配到不同的集群或计算节点上，保证任务的并行快速执行，减少网络和数据迁移代价，而且利用物理资源调度对子任务的进一步分解，最大化集群资源的利用，进一步减少任务执行时间。

主权项

一种私有云条件下的大数据混合调度模型，其特征在于：所述调度模型包含了访问控制模块、任务分解模块、基于虚拟资源的全局调度器模块、资源虚拟化映射模块、虚拟资源监控模块、物理资源监控模块、基于物理资源的局部调度器模块；其中，所述访问控制模块对用户的身份和权限进行管理和验证，任务分解模块根据用户的任务请求将任务分解为多个独立的子任务，并分析和评估每个子任务的资源需求；所述虚拟资源监控模块负责虚拟资源的状态更新，所述物理资源监控模块负责物理资源的状态更新，其中，虚拟资源监控模块只有一个，监控整个虚拟资源，物理资源监控模块有多个，每个物理资源监控模块只负责监控部分物理资源，可以是一个集群或计算节点等；所述资源虚拟化映射模块根据各个物理资源监控模块汇报的信息和物理网络资源的信息将物理资源映射为虚拟资源；所述基于虚拟资源的全局调度器模块根据虚拟资源监控模块的信息对任务进行调度，将各个独立的子任务分别调度到不同的集群或计算节点上；所述基于物理资源的局部调度器模块根据物理资源监控模块进行调度，将子任务进一步分解为多个子任务，然后依赖关系进行调度，减少等待时间，提高资源利用率和并行度。