[发明专利]一种大数据资源调度系统及方法

权利要求书

1.一种大数据资源调度系统，其特征在于，包括以下组成部分：

采集层，所述采集层对系统中的资源的状态及负载信息进行采集和整合，包括数据采集模块和资源整合模块；

所述数据采集模块对系统中的资源的状态及负载信息进行采集，将采集到资源的状态及负载信息发送给所述资源整合模块；

所述资源整合模块接收并统一管理资源的状态及负载信息；

调度层，所述调度层根据所述采集层中的资源的状态及负载信息并通过云计算平台实现资源的监控、协调、分配，包括资源监控模块、资源协调模块、资源分配模块；

所述资源监控模块获取经所述资源整合模块管理后的资源的状态及负载信息，对资源的状态及负载信息进行监控，并根据策略设置模块预先设置的负载阈值判断资源的负载状态，将资源的负载状态发送给所述资源协调模块；

所述资源协调模块根据资源的负载状态和策略设置模块预先设置的调度策略进行资源协同调度，将资源协同调度的调度请求发送给所述资源分配模块；

所述资源分配模块接收所述资源协调模块的调度请求，并进行资源动态分配；

服务层，所述服务层向所述调度层提供资源的负载阈值和策略，以实现大数据资源的合理调度，包括策略设置模块；

所述策略设置模块用于设置资源的负载阈值和超出负载阈值时的资源的调度策略，所述策略设置模块向所述资源监控模块提供资源的负载阈值，所述策略设置模块向所述资源协调模块提供资源的调度策略。

2.根据权利要求1所述的一种大数据资源调度系统，其特征在于，所述资源采集模块分别对不同资源的负载及状态信息进行采集；资源的类型包括虚拟资源和物理资源，且物理资源包括CPU、内存、网络；所述资源的状态及负载信息包括资源的总容量、资源的使用量、资源的利用率；所述资源整合模块分别对不同资源的总容量、使用量、利用率进行统计。

3.根据权利要求2所述的一种大数据资源调度系统，其特征在于，所述策略设置模块分别设置CPU、内存、网络、虚拟资源的负载上限阈值和负载下限阈值，分别设置CPU、内存、网络、虚拟资源的负载高于负载上限阈值的扩展策略，分别设置CPU、内存、网络、虚拟资源的负载低于负载下限阈值的收缩策略。

4.根据权利要求3所述的一种大数据资源调度系统，其特征在于，若某个资源的负载高于该资源的负载上限阈值，则所述资源监控模块判断该资源的负载状态为高负载；若某个资源的负载低于该资源的负载下限阈值，则所述资源监控模块判断该资源的负载状态为低负载。

5.根据权利要求4所述的一种大数据资源调度系统，其特征在于，若某个资源的负载状态为高负载，则所述资源协调模块调用该资源的扩展策略，并按照调度优先级进行资源协同调度，向资源分配模块发送资源扩展的调度请求，请求增加虚拟机；若某个资源的负载状态为低负载，则所述资源协调模块调用该资源的收缩策略，并按照调度优先级进行资源协同调度，向资源分配模块发送资源收缩的调度请求，请求移除虚拟机；

所述调度优先级：不同时间内的调度请求，优先处理请求时间早的调度请求；同一时间内的调度请求，资源收缩的优先级高于资源扩展的优先级，即优先处理资源收缩的调度请求。

6.根据权利要求5所述的一种大数据资源调度系统，其特征在于，所述资源分配模块为接收所述资源协调模块的调度请求，并按照设定的调度方式进行资源动态分配，完成资源扩展或资源收缩，即完成虚拟机的增加或移除，以实现资源的负载均衡。