[发明专利]资源调度方法、装置、电子设备及计算机可读介质

说明书

本公开提供了一种资源调度方法，其包括：响应新的任务请求判断执行器是否均处于工作状态，若是，则将新任务加入一级缓存队列等待；若否，则将所述新任务加入二级缓存队列等待或被所述执行器执行。该方法既降低了延时性，提高了用户的体验；又兼顾了服务器的吞吐量，提高了服务器的使用效率。本公开还提供了一种资源调度装置、电子设备及计算机可读介质。

技术领域

本公开实施例涉及深度学习技术领域，特别涉及一种资源调度方法、装置、电子设备及计算机可读介质。

背景技术

深度学习的模型在训练完成后，常被部署在基于云计算资源的服务器上，以供客户端根据自己的推离任务使用该模型。在实际应用中，服务器通常同时服务不同客户端的推理任务请求，而且这些客户端的推理任务请求常使用不同模型或使用不同版本的模型。服务器不仅要满足客户端对延时性的要求，还要考虑自身性能(如吞吐量)和资源使用效率的问题。

由于服务器的运算能力较强，完成一个推理任务请求和多个推理任务请求花费的时间相差不大。为了提高性能和资源使用效率，服务器通常将多个小的推理任务请求(资源占用较小)合并成一个大的任务集，如当一个推理任务请求含有的数据量较少时，先将该推理任务请求放置在等待队列，等待后续的推理任务请求合并成一个数据量较大的任务集，再进行计算。这种调度方式无疑加大了客户端的时延。而且，当服务器有可用的计算资源(比如空闲的线程、CPU、GPU等)时，由于需要形成足够数据量的任务集后才开始计算，服务器“被迫”处于闲置状态，导致服务器资源的浪费。另外，服务器开始计算时，将任务集从缓存拷贝到计算资源上也需要一定的时间开销。

发明内容

本公开实施例提供一种资源调度方法、装置、电子设备及计算机可读介质，以解决现有技术中由于服务器的调度方式的缺陷而导致时延较长和资源使用效率不佳的问题。

第一方面，本公开实施例提供一种资源调度方法，其包括：

响应新的任务请求判断执行器是否均处于工作状态，若是，则将新任务加入一级缓存队列等待；若否，则将所述新任务加入二级缓存队列等待或被所述执行器执行。

第二方面，本公开实施例提供一种资源调度的装置，其包括：缓存模块和执行模块，所述缓存模块用于存储一级缓存队列的新任务；所述执行模块用于存储二级缓存队列的新任务和执行所述新任务；其中，

所述缓存模块包括至少一个一级任务集，所述一级任务集用于在执行器均处于工作状态时，存储一级缓存队列的新任务；

所述执行模块包括至少一个执行器，所述执行器包括一对二级任务集和执行模型，所述二级任务集用于所述执行器处于空闲状态或等待状态时，存放二级缓存队列的新任务；所述执行模型用于执行所述新任务。

第三方面，本公开实施例提供一种电子设备，其包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本公开实施例提供的资源调度方法。

第四方面，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开实施例提供的资源调度方法。

本公开实施例提供的资源调度方法，当收到新的任务请求后，判断执行装置中的执行器是否均处于工作状态，若否，则将新任务加入一级缓存队列等待；若是，则将所述新任务加入二级缓存队列等待或被所述执行器执行，即，如果有可用资源，则新任务会进入二级缓存队列，并在条件满足时立即开始计算，无需额外的等待和拷贝时间，如果无可用资源，则新任务会进入一级缓存队列，待执行器有空闲时，新任务第一时间被调度，既降低了延时性，提高了用户的体验；又兼顾了服务器的吞吐量，提高了服务器的使用效率。

附图说明