[发明专利]资源的调度方法、装置、电子设备和计算机可读存储介质

说明书

本申请涉及计算机操作系统技术领域，公开了一种资源的调度方法、装置和电子设备，资源的调度方法包括：接收目标算法对资源的调用请求；调用请求包括目标算法请求调用的资源类别、资源占用量和调用时长；资源类别包括CPU资源和GPU资源；基于调用请求根据当前资源占用信息查询符合资源类别和资源占用量的目标资源；若查询到目标算法可用的目标资源，在调用时长内调用目标资源以运行目标算法；查询与目标算法对应的延迟释放时长，若调用目标资源调用时长后，在延迟释放时长内未接收到目标算法对资源的新的调用请求，释放目标资源。本申请提供的资源的调度方法可以有效减少资源的浪费。

技术领域

本申请涉及计算机操作系统技术领域，具体而言，本申请涉及一种资源的调度方法、装置、电子设备及计算机可读存储介质。

背景技术

在计算机操作系统中，CPU(中央处理器，central processing unit)和GPU(图像处理器，Graphics Processing Unit)往往需要被多种任务共享。

通常，需要根据可能被用到的算法或模型规划布局大量的CPU和GPU资源，但只有少量的算法或服务需要长期占用资源，例如，针对AI(人工智能，ArtificialIntelligence)推理系统(模型部署平台，为训练好的AI模型提供部署平台)、ADC(集中托管式数据应用中心，Application data center)应用系统或AI训练系统等多种算法，其中只有部分算法需要长期占用资源，另一些算法调用资源的时间是随机不确定的，这使得用户必须提供充足的资源准备随时被调用，但是这会造成资源的浪费。

因此，有必要提供一种资源调度的方法，可以减少资源的浪费。

发明内容

本申请的目的旨在至少能解决上述的技术缺陷之一，特提出以下技术方案：

第一方面，提供了一种资源的调度方法，包括：

接收目标算法对资源的调用请求；调用请求包括目标算法请求调用的资源类别、资源占用量和调用时长；资源类别包括CPU资源和GPU资源；

基于调用请求根据当前资源占用信息查询符合资源类别和资源占用量的目标资源；

若查询到目标算法可用的目标资源，在调用时长内调用目标资源以运行目标算法；

查询与目标算法对应的延迟释放时长，若调用目标资源调用时长后，在延迟释放时长内未接收到目标算法对资源的新的调用请求，释放目标资源。

在第一方面的可选实施例中，资源的调度方法还包括：

若未查询到目标算法可用的目标资源，将调用请求存储于请求队列中；

针对于请求队列中的每一个调用请求，执行基于调用请求在当前资源占用信息中查询符合资源类别和资源占用量的目标资源。

在第一方面的可选实施例中，针对于请求队列中的每一个调用请求，执行基于调用请求在当前资源占用信息中查询符合资源类别和资源占用量的目标资源，包括：

根据每一个调用请求的接收时间，对请求队列中的至少一个调用请求进行排序；

基于对调用请求的排序，依次执行基于调用请求在当前资源占用信息中查询符合资源类别和资源占用量的目标资源。

在第一方面的可选实施例中，针对于请求队列中的每一个调用请求，执行基于调用请求在当前资源占用信息中查询符合资源类别和资源占用量的目标资源，包括：

查询每一个调用请求对应的目标算法的紧急调用级别，依据紧急调用级别对请求队列中的至少一个调用请求排序；

基于对调用请求的排序，依次执行基于调用请求在当前资源占用信息中查询符合资源类别和资源占用量的目标资源。