[发明专利]资源调度方法及装置、电子设备、存储介质

说明书

本发明实施例提供了一种基于Hadoop集群的资源调度方法及装置、电子设备、存储介质，涉及大数据技术领域，该资源调度方法包括：接收抢占资源线程的抢占资源请求；响应于所述抢占资源请求，获取需要计算资源的目标作业；根据所述目标作业判断整体集群是否有足够的剩余计算资源并且是否可以抢占计算资源；当确定所述整体集群没有足够的所述剩余计算资源并且可以抢占计算资源时，将所述计算资源超额分配给所述目标作业。本发明实施例的技术方案是通过调整逻辑将分配中的抢占独立出来，提升集群的资源分配效率，提高了系统的工作效率。

技术领域

本发明涉及大数据技术领域，具体而言，涉及一种基于Hadoop集群的资源调度方法、资源调度装置、电子设备以及计算机可读存储介质。

背景技术

随着互联网技术的发展，大数据(Big Data)技术领域也得到了迅速发展。大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

现有的技术方案中，分布式大数据的资源管理与作业调度是通过调度器在每次计算节点心跳过来时检查是否需要资源抢占，如果确定没有达到配置的资源分配最大值则进行分配处理。在该方案中，当某个队列消耗资源比较严重时会导致别的队列无法享受到冗余资源，而且在集群资源紧张时，进行了没有必要的抢占与释放，降低了Hadoop集群的工作效率。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明实施例的目的在于提供一种基于Hadoop集群的资源调度方法、资源调度装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于现有分布式大数据的资源管理与作业调度的资源抢占方案使调度器进行了没有必要的抢占与释放，降低Hadoop集群的工作效率的问题。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明实施例的第一方面，提供了一种基于Hadoop集群的资源调度方法，包括：接收抢占资源线程的抢占资源请求；响应于所述抢占资源请求，获取需要计算资源的目标作业；根据所述目标作业判断整体集群是否有足够的剩余计算资源并且是否可以抢占计算资源；当确定所述整体集群没有足够的所述剩余计算资源并且可以抢占计算资源时，将所述计算资源超额分配给所述目标作业。

在本发明的一种示例实施例中，基于前述方案，接收抢占资源线程的抢占资源请求，包括：接收目标作业，并将所述目标作业发送到对应的资源请求线程；基于所述资源请求线程，判断所述目标作业对应的资源池是否有剩余计算资源；当确定所述资源池没有所述剩余计算资源时，接收所述抢占资源线程的抢占资源请求。

在本发明的一种示例实施例中，基于前述方案，判断所述目标作业对应的资源池是否有剩余计算资源，包括：获取计算节点的节点心跳，将所述节点心跳发送到资源请求线程；根据所述节点心跳判断所述目标作业对应的资源池是否有剩余计算资源。

在本发明的一种示例实施例中，基于前述方案，所述当确定所述资源池没有所述剩余计算资源时，还包括：当确定所述资源池有所述剩余计算资源时，将计算资源直接分配给对应的内存结构，并且等待所述资源请求线程获取下一次的心跳获取。

在本发明的一种示例实施例中，基于前述方案，所述将所述计算资源超额分配给所述目标作业，包括：判断单个队列是否有需要资源的作业；当确定单个队列有需要资源的作业时，根据所述目标作业已经使用的计算资源量计算得到整体集群中可以抢占的计算资源量；基于所述可以抢占的计算资源量，将所述计算资源超额分配给所述目标作业。