[发明专利]模型分配方法、装置、电子设备及计算机可读存储介质

说明书

本申请提供一种模型分配方法、装置、电子设备及计算机可读存储介质，方法包括：获取各待分配模型；获取针对所述待分配模型的所有分配组合方案中，各NPU中的第一资源使用指标值；各所述NPU中的第一资源使用指标值表征各所述NPU中的资源使用情况；根据各所述分配组合方案下的各NPU中的第一资源使用指标值，确定出第一资源使用指标值最均衡的目标分配组合方案；按照所述目标分配组合方案将各所述待分配模型分别加载至对应的NPU中。这样，加载待分配模型后的智能盒子中，各NPU的性能相对均衡，从而可以提高智能盒子的性能利用率。

技术领域

本申请涉及边缘计算技术领域，具体而言，涉及一种模型分配方法、装置、电子设备及计算机可读存储介质。

背景技术

随着边缘计算的发展，专门用于深度神经网络推理的NPU(Neural-networkProcessing Unit，嵌入式神经网络处理器)越来越被广泛应用。目前市面上推出有各种搭载有多个NPU的智能盒子，通过这种智能盒子可以实现多个算法模型的并行部署，从而为客户提供更为丰富的业务处理能力。

而在集成有多个NPU的智能盒子(也称边缘计算盒子)上，为达到最佳的运行效果，一个算法解决方案中所具有的多个算法模型需要均衡分配在不同NPU上。此外，当两个以上的算法解决方案的算法模型需要同时在一个多NPU的盒子上加载时，为达到最佳性能，也需要对各算法模型进行均衡分配。

然而，目前对于智能盒子中各算法模型的分配通常是通过人为预先指定的方式实现，但是这种方式准确性严重依赖于分配者的经验，分配结果往往难以达到各NPU的性能均衡，从而难以充分利用智能盒子的性能。

发明内容

本申请实施例的目的在于提供一种模型分配方法、装置、电子设备及计算机可读存储介质，用以实现更均衡的模型分配，以更充分地利用智能盒子的性能。

本申请实施例提供了一种模型分配方法，包括：获取各待分配模型；获取针对所述待分配模型的所有分配组合方案中，各NPU中的第一资源使用指标值；各所述NPU中的第一资源使用指标值表征各所述NPU中的资源使用情况；根据各所述分配组合方案下的各NPU中的第一资源使用指标值，确定出第一资源使用指标值最均衡的目标分配组合方案；按照所述目标分配组合方案将各所述待分配模型分别加载至对应的NPU中。

在上述实现过程中，通过针对各个待分配模型的所有分配组合方案中，每种分配组合方案下各NPU的资源使用情况(通过第一资源使用指标值体现)，从而根据每种分配组合方案下各NPU的第一资源使用指标值确定出第一资源使用指标值最均衡的目标分配组合方案，从而按照目标分配组合方案将各待分配模型分别加载至对应的NPU中。这样，加载待分配模型后的智能盒子中，各NPU的性能相对均衡，从而可以提高智能盒子的性能利用率。

进一步地，获取针对所述待分配模型的所有分配组合方案中，各NPU中的第一资源使用指标值，包括：获取各待分配模型分别在各NPU中的第二资源使用指标值；所述第二资源使用指标值表征待分配模型在NPU中的资源使用情况；根据各分配组合方案中各NPU所对应的待分配模型，以及各待分配模型在所对应的NPU中的第二资源使用指标值，确定出各分配组合方案中各NPU中的第一资源使用指标值。

在上述实现过程中，通过预先获取各待分配模型分别在各NPU中的第二资源使用指标值，进而基于各分配组合方案中各NPU所对应的待分配模型，即可在无需按照各分配组合方案进行实际加载的情况下，快速确定出各分配组合方案中各NPU中的第一资源使用指标值，方案实现简单，尤其是在智能盒子中各NPU的性能完全一致的情况下，该方案实现更为简单，耗费的时间更少。

进一步地，根据各所述分配组合方案下的各NPU中的资源使用指标值，确定出第一资源使用指标值最均衡的目标分配组合方案，包括：分别计算各所述分配组合方案对应的各第一资源使用指标值的方差值；确定方差值最小的分配组合方案为所述目标分配组合方案。