[发明专利]一种GPU和CPU负载调度方法、装置、设备和介质

说明书

本申请公开了一种GPU和CPU负载调度方法、装置、设备和介质，获取当前待处理队列中的目标数量、目标特征数量和当前资源空闲率；当对GPU和CPU进行独立调度时，在满足各类目标和目标特征的截止期以及当前资源空闲率的条件下，采用最大吞吐量策略选择若干目标或目标特征分派到GPU或CPU进行处理；当对GPU和CPU进行协同调度时，根据GPU和CPU的数据处理速度，选择GPU和CPU中的一个采用最大吞吐量策略进行目标或目标特征分派，另一个在满足各类型目标的总截止期和当前资源空闲率的条件下采用局部最大吞吐量策略进行目标特征或目标分派。本申请解决了现有技术中GPU和CPU负载之间不均衡的技术问题。

技术领域

本申请涉及处理器技术领域，尤其涉及一种GPU和CPU负载调度方法、装置、设备和介质。

背景技术

随着CPU多核架构处理器和GPU众核架构处理器的普及，这种GPU与CPU协作的方式在AI算法中得到了应用。在大型应用场景中，硬件资源的合理利用至关重要，因此，对GPU和CPU的混合负载的均衡化调度提出了更高的要求。

现有技术没有考虑不同时间段下不同场景的目标数量波动情况，在目标数量较多的情况下，每类目标的数量可能极不平衡，例如，某人脸识别和行人识别两者之间待处理的目标数量非常大，在进行目标特征提取时，会造成其中一张显卡满负载运行，而另外一张则几乎处于空闲状态，使得GPU之间的资源极度不平衡。同理，对于CPU的使用，不同类型目标之间相互独立，需要分别进行各自的特征比对任务，使得CPU的调度极不均衡。

发明内容

本申请提供了一种GPU和CPU负载调度方法、装置、设备和介质，用于解决现有技术中GPU和CPU负载之间不均衡的技术问题。

有鉴于此，本申请第一方面提供了一种GPU和CPU负载调度方法，包括：

获取当前待处理队列中的目标数量、目标特征数量和当前资源空闲率；

当对GPU和CPU进行独立调度时，在满足各类目标和目标特征的截止期以及当前资源空闲率的条件下，采用最大吞吐量策略选择若干目标分派到GPU进行特征提取，或采用最大吞吐量策略选择若干目标特征分派到CPU进行特征比对；

当对GPU和CPU进行协同调度时，根据GPU和CPU的数据处理速度，选择GPU和CPU中的一个采用最大吞吐量策略进行目标或目标特征的数量分派，另一个在满足各类型目标的总截止期和当前资源空闲率的条件下采用局部最大吞吐量策略进行目标特征或目标的数量分派。

可选的，当对GPU和CPU进行独立调度时，在满足各类目标和目标特征的截止期以及当前资源空闲率的条件下，采用最大吞吐量策略选择若干目标分派到GPU进行特征提取，或采用最大吞吐量策略选择若干目标特征分派到CPU进行特征比对，包括：

当对GPU和CPU进行独立调度时，在满足各类目标和目标特征的截止期以及当前资源空闲率的条件下，通过GPU查询表查找所有类型目标的最大吞吐量，将该最大吞吐量对应批次大小的目标分派到GPU进行特征提取，或，通过CPU查询表查找所有类型目标特征的最大吞吐量，将该最大吞吐量对应批次大小的目标特征分派到CPU进行特征比对。

可选的，当对GPU和CPU进行协同调度时，根据GPU和CPU的数据处理速度，选择GPU和CPU中的一个采用最大吞吐量策略进行目标或目标特征的数量分派，另一个在满足各类型目标的总截止期和当前资源空闲率的条件下采用局部最大吞吐量策略进行目标特征或目标的数量分派，包括：

当对GPU和CPU进行协同调度时，获取GPU和CPU的数据处理速度；

当CPU的数据处理速度比GPU的数据处理速度快时，在满足各类型目标的总截止期和当前资源空闲率的条件下，通过GPU查询表查找所有类型目标的最大吞吐量，将该最大吞吐量对应批次大小b₀的目标分派到GPU进行特征提取，得到b₀个目标特征；