[发明专利]模型分配方法、装置、电子设备及计算机可读存储介质

权利要求书

1.一种模型分配方法，其特征在于，所述方法包括：

获取各待分配模型；

获取针对所述待分配模型的所有分配组合方案中，各嵌入式神经网络处理器NPU中的第一资源使用指标值；各所述NPU中的第一资源使用指标值表征各所述NPU中的资源使用情况；

根据各所述分配组合方案下的各NPU中的第一资源使用指标值，确定出第一资源使用指标值最均衡的目标分配组合方案；

按照所述目标分配组合方案将各所述待分配模型分别加载至对应的NPU中。

2.如权利要求1所述的模型分配方法，其特征在于，获取针对所述待分配模型的所有分配组合方案中，各NPU中的第一资源使用指标值，包括：

获取各待分配模型分别在各NPU中的第二资源使用指标值；所述第二资源使用指标值表征待分配模型在NPU中的资源使用情况；

根据各分配组合方案中各NPU所对应的待分配模型，以及各待分配模型在所对应的NPU中的第二资源使用指标值，确定出各分配组合方案中各NPU中的第一资源使用指标值。

3.如权利要求1所述的模型分配方法，其特征在于，根据各所述分配组合方案下的各NPU中的资源使用指标值，确定出第一资源使用指标值最均衡的目标分配组合方案，包括：

分别计算各所述分配组合方案对应的各第一资源使用指标值的方差值；

确定方差值最小的分配组合方案为所述目标分配组合方案。

4.如权利要求1所述的模型分配方法，其特征在于，所述第一资源使用指标值包括以下至少之一：

NPU的占用内存；

NPU对应的所有待分配模型的总运行时长。

5.如权利要求2所述的模型分配方法，其特征在于，所述第二资源使用指标值包括以下至少之一：

待分配模型在NPU中的占用内存；

待分配模型在NPU中运行时的运行时长。

6.如权利要求1-5任一项所述的模型分配方法，其特征在于，在确定出第一资源使用指标值最均衡的目标分配组合方案之后，按照所述目标分配组合方案将各所述待分配模型分别加载至对应的NPU中之前，所述方法还包括：

获取所述目标分配组合方案中，各所述NPU所对应的各待分配模型所需占用的内存总和；

确定各所述NPU对应的所述内存总和均分别小于各所述NPU自身的剩余内存值。

7.如权利要求6所述的模型分配方法，其特征在于，所述方法还包括：

若所述目标分配组合方案中，存在至少一个NPU对应的内存总和不小于自身的剩余内存值，则确定第一资源使用指标值次均衡的分配组合方案为所述目标分配组合方案。

8.一种模型分配装置，其特征在于，包括：获取模块、确定模块和分配模块；

所述获取模块，用于获取各待分配模型，以及用于获取针对所述待分配模型的所有分配组合方案中，各嵌入式神经网络处理器NPU中的第一资源使用指标值；各所述NPU中的第一资源使用指标值表征各所述NPU中的资源使用情况；

所述确定模块，用于根据各所述分配组合方案下的各NPU中的第一资源使用指标值，确定出第一资源使用指标值最均衡的目标分配组合方案；

所述分配模块，用于按照所述目标分配组合方案将各所述待分配模型分别加载至对应的NPU中。

9.一种电子设备，其特征在于，包括：处理单元、存储器及通信总线；

所述通信总线用于实现所述处理单元和存储器之间的连接通信；

所述处理单元用于执行存储器中存储的一个或者多个程序，以实现如权利要求1至7中任一项所述的模型分配方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至7中任一项所述的模型分配方法。