[发明专利]一种大数据资源调度系统及方法

说明书

本发明公开了一种大数据资源调度系统，包括：采集层，所述采集层对系统中的资源的状态及负载信息进行采集和整合，包括数据采集模块和资源整合模块；调度层，所述调度层根据所述采集层中的资源的状态及负载信息并通过云计算平台实现资源的监控、协调、分配，包括资源监控模块、资源协调模块、资源分配模块；服务层，所述服务层向所述调度层提供策略设置，以及向用户提供个性化服务，以实现大数据资源的合理调度，包括策略设置模块和个性化服务模块。本发明实现了资源的负载均衡，提高了资源利用率，降低了运营成本，进一步的确保了整个系统的稳定性，提高了云计算平台的服务水平。

技术领域

本发明涉及计算机大数据应用技术领域，尤其是一种大数据资源调度系统及方法。

背景技术

资源调度是指在特定的资源环境下，根据一定的资源使用规则，在不同的资源使用者之间进行资源调整的过程。在当下的大数据时代，图片、视频和人工智能AI的计算成本逐渐成为不可承受之重。由于计算任务的多样化及资源的有限性，导致资源难以均衡用于各个计算任务；由于设备的购买、裁撤、流转形成了大量的短期空闲设备，导致整体资源利用并不充分，如何挖掘复用现有的空闲资源，以满足当前海量的计算业务的需求，成为大数据应用领域难题。

目前，常用的资源调度方法存在以下问题：一、各类资源不能统一采集、共享和监控，缺乏资源调度的基础；二、不能从全局角度协同调度资源，容易导致资源频繁调度和系统不稳定；三、难以满足超大规模资源调度，最终也难以实现资源的负载均衡。

发明内容

为了克服上述现有技术的缺陷，本发明提供一种大数据资源调度系统，满足了超大规模资源调度，实现了资源的负载均衡，提高了资源利用率，降低了运营成本，进一步的确保了整个系统的稳定性，提高了云计算平台的服务水平。

为实现上述目的，本发明采用以下技术方案，包括：

一种大数据资源调度系统，包括以下组成部分：

采集层，所述采集层对系统中的资源的状态及负载信息进行采集和整合，包括数据采集模块和资源整合模块；

所述数据采集模块对系统中的资源的状态及负载信息进行采集，将采集到资源的状态及负载信息发送给所述资源整合模块；

所述资源整合模块接收并统一管理资源的状态及负载信息；

调度层，所述调度层根据所述采集层中的资源的状态及负载信息并通过云计算平台实现资源的监控、协调、分配，包括资源监控模块、资源协调模块、资源分配模块；

所述资源监控模块获取经所述资源整合模块管理后的资源的状态及负载信息，对资源的状态及负载信息进行监控，并根据策略设置模块预先设置的负载阈值判断资源的负载状态，将资源的负载状态发送给所述资源协调模块；

所述资源协调模块根据资源的负载状态和策略设置模块预先设置的调度策略进行资源协同调度，将资源协同调度的调度请求发送给所述资源分配模块；

所述资源分配模块接收所述资源协调模块的调度请求，并进行资源动态分配；

服务层，所述服务层向所述调度层提供资源的负载阈值和策略，以实现大数据资源的合理调度，包括策略设置模块；

所述策略设置模块用于设置资源的负载阈值和超出负载阈值时的资源的调度策略，所述策略设置模块向所述资源监控模块提供资源的负载阈值，所述策略设置模块向所述资源协调模块提供资源的调度策略。

所述资源采集模块分别对不同资源的负载及状态信息进行采集；资源的类型包括虚拟资源和物理资源，且物理资源包括CPU、内存、网络；所述资源的状态及负载信息包括资源的总容量、资源的使用量、资源的利用率；所述资源整合模块分别对不同资源的总容量、使用量、利用率进行统计。