[发明专利]一种资源管理方法、装置及系统

说明书

本申请公开了一种资源管理方法、装置及系统，该方法包括：从执行预定任务的目标任务执行节点获取所述预定任务的任务执行信息；根据所述任务执行信息对所述预定任务进行执行状态更新，得到更新后的执行状态的信息；根据更新后的执行状态的信息对目标任务执行节点中预定任务占用的资源进行相应处理。通过本方法，可以实现对大量任务在任务执行节点上的均衡调度，可以提高任务执行节点的整体资源利用率。

技术领域

本申请涉及计算机技术领域，尤其涉及一种资源管理方法、装置及系统。

背景技术

随着计算机技术的不断发展，各个领域中业务的数据处理规模不断扩大，并且对数据处理的实时性的要求也越来越高，大规模的数据处理以及数据的实时性要求通常可以通过分布式系统解决。

分布式系统通常包括主节点和若干任务执行节点，其中，主节点向任务执行节点发布任务，并通过同步检测的方式确定任务执行节点的可用情况，以此判断任务执行节点是否正常，如果正常，则可以监控任务执行节点的任务状态，如任务执行节点中是否有任务执行，如果有，则所有任务的整体执行情况等，并基于此，对当前执行的任务进行同步处理。

发明人在实现本申请的过程中，发现现有技术至少存在如下缺陷：主节点在监控任务状态时是通过监控各个任务执行节点的状态来实现的，由于分布式系统中各任务执行节点可能并发执行多个不同任务，因此，通过上述方式监控任务状态时无法及时获取其中任一具体任务的执行情况，从而使得该具体任务占用的资源无法及时得到相应的处理，造成任务执行节点的整体资源利用率较低。

发明内容

本申请实施例提供一种资源管理方法、装置及系统，用以解决大量任务在任务执行节点上无法实现均衡调度，不能及时对待处理的任务占用的资源进行处理，从而导致任务执行节点的整体资源利用率较低的问题。

本申请实施例提供一种资源管理方法，所述方法包括：

从执行预定任务的目标任务执行节点获取所述预定任务的任务执行信息；根据所述任务执行信息对所述预定任务进行执行状态更新，得到更新后的执行状态的信息；根据所述更新后的执行状态的信息对所述目标任务执行节点中所述预定任务占用的资源进行相应处理。

可选地，所述从执行预定任务的目标任务执行节点获取所述预定任务的任务执行信息之前，所述方法还包括：接收预定任务的任务下发消息；获取各任务执行节点的剩余资源信息；根据所述各任务执行节点的剩余资源信息确定执行所述预定任务的任务执行节点的节点标识和所述预定任务占用的资源信息；将所述预定任务占用的资源信息和所述预定任务的信息发送给所述节点标识对应的目标任务执行节点。

通过对各任务执行节点的剩余资源的分析确定执行预定任务的任务执行节点，可以实现对各任务执行节点的资源的统一分配和管理，使得大量任务可以均衡分配到各任务执行节点，提高任务执行的效率。

可选地，所述根据所述各任务执行节点的剩余资源信息确定执行所述预定任务的任务执行节点的节点标识和所述预定任务占用的资源信息，包括：获取所述预定任务所属的任务类型；从所述各任务执行节点的剩余资源信息中获取与所述任务类型相应的任务执行节点的剩余资源信息；根据获取的任务执行节点的剩余资源信息确定执行所述预定任务的任务执行节点的节点标识和所述预定任务占用的资源信息。

通过不同的任务类型对各任务执行节点的资源进行划分，以便可以快速获取并为预定任务分配其占用的资源，提高任务执行的效率。

可选地，所述将所述预定任务占用的资源信息和所述预定任务的信息发送给所述节点标识对应的目标任务执行节点，包括：通过第一线程将所述预定任务的信息设置在等待任务队列中；触发运行第二线程，并通过所述第二线程将等待任务队列中的预定任务添加到运行任务队列中，并依次获取所述运行任务队列中的预定任务，并将所述预定任务占用的资源信息和预定任务的信息发送给目标任务执行节点。