[发明专利]一种基于搜索的深度学习模型部署方法及装置

权利要求书

1.一种基于搜索的深度学习模型部署方法，其特征在于，包括：

通过深度学习编译器确定出的所述深度学习模型对应的高级IR，并将所述高级IR进行图优化，得到优化后的计算图；将所述优化后的计算图，作为获取到的所述深度学习模型所对应的计算图；

确定所述计算图中包括的算子，并确定每个算子匹配的硬件资源；其中，针对每个算子，当该算子被预设的硬件计算库支持时，则确定该算子匹配的硬件资源为可支持该算子运行的硬件对应的资源；当该算子不被预设的硬件计算库支持时，将该算子分配给深度学习编译器进行编译，并确定该算子匹配的硬件资源为所述深度学习编译器对应的默认硬件资源；

根据各算子匹配的硬件资源，构建搜索空间，针对所述搜索空间中包括的每个样本，该样本用于表示一种将算子分配给各硬件资源的分配方案：

从所述搜索空间中选取出目标样本，并确定所述目标样本对应的运行时长，以及确定所述目标样本对应的邻域样本，并确定所述邻域样本对应的运行时长，若所述邻域样本对应的运行时长短于所述目标样本的运行时长，将所述邻域样本作为重新确定出的目标样本，并继续确定目标样本对应的邻域样本以及邻域样本对应的运行时长，直到满足预设迭代终止条件为止；

按照目标样本所对应的分配方案，将深度学习模型的算子进行硬件资源的分配，以对所述深度学习模型进行部署。

2.如权利要求1所述的方法，其特征在于，从所述搜索空间中选取出目标样本，具体包括：

从所述搜索空间中随机选取出初始样本，作为目标样本。

3.如权利要求1所述的方法，其特征在于，针对每个样本，该样本所对应的邻域样本为在该样本对应的分配方案中随机选择一个算子并随机更换为其分配的硬件资源，得到该样本所对应的邻域样本。

4.如权利要求1所述的方法，其特征在于，确定样本对应的运行时长，具体包括：

根据样本对应的分配方案，将分配给同一硬件并且在所述计算图中符合预设逻辑关系的至少两个相邻的算子进行合并，得到各编译单元，每个编译单元中包含至少一个算子；

针对每个编译单元，确定该编译单元对应的代码，并基于该编译单元对应的代码进行编译，得到该编译单元对应的可执行文件；

将各编译单元对应的可执行文件进行链接，得到链接后的可执行文件；

基于所述链接后的可执行文件，按照所述样本对应的分配方案，在分配的硬件资源上对所述深度学习模型进行执行，得到所述样本对应的运行时间。

5.如权利要求1所述的方法，其特征在于，所述预设迭代终止条件包括：到达预设的迭代次数。

6.如权利要求1所述的方法，其特征在于，满足预设迭代终止条件，具体包括：

若在至少N次的迭代中目标样本对应的运行时长趋于一致，则确定满足所述预设迭代终止条件，其中，N为正整数。