[发明专利]实现基于异构模型图的深度神经网络模型的方法和装置

权利要求书

1.一种实现基于异构模型图的深度神经网络模型的方法，包括：

执行根据预定拆分标准将深度神经网络模型拆分为多个子模型的拆分操作；

根据拆分出的所述多个子模型在各个处理器上的性能表现，对所述多个子模型中的至少部分子模型进行合并以获得合并后的子模型以及合并后的子模型与各个处理器之间的对应关系，其中，所述对应关系表示合并后的子模型在相应的处理器上运行时具有最佳的性能表现；

构建反映了所述对应关系的由合并后的子模型组成的异构图；

针对输入任务执行异构图中的子模型。

2.如权利要求1所述的方法，其中，执行根据预定拆分标准将深度神经网络模型拆分为多个子模型的拆分操作的步骤包括：

根据所述预定拆分标准将深度神经网络模型拆分为待验证的多个子模型，其中，所述预定拆分标准是乘加次数；

将所述待验证的多个子模型分别部署在各个处理器上并统计所述待验证的多个子模型分别在各个处理器上运行时的性能表现；

如果所述待验证的多个子模型在任意一个处理器上运行时的性能表现满足预定条件，则将所述待验证的多个子模型确定为从深度神经网络模型最终拆分出的多个子模型；

如果所述待验证的多个子模型在所有处理器上运行时的性能表现都不满足所述预定条件，则修改所述预定拆分标准并重新所述拆分操作。

3.如权利要求2所述的方法，根据所述预定拆分标准将深度神经网络模型拆分为待验证的多个子模型的步骤包括：

按照测试数据的任务类型，根据所述预定拆分标准将深度神经网络模型拆分为所述待验证的多个子模型，

其中，如果测试数据的任务类型是单输入任务，则所述待验证的多个子模型包括具有并行关系的子模型，

如果测试数据的任务类型是流输入任务，则所述待验证的多个子模型不包括具有并行关系的子模型。

4.如权利要求1或2所述的方法，其中，性能表现是指子模型分别在各个处理器上运行时所花费的时间、所耗费的电力或者所占用的存储器大小。

5.如权利要求1所述的方法，其中，对所述多个子模型中的至少部分子模型进行合并以获得合并后的子模型以及合并后的子模型与各个处理器之间的对应关系的步骤包括：

当所述多个子模型中的在执行顺序上彼此相邻的至少两个子模型在运行于同一处理器上时均具有最佳性能表现时，将所述至少两个子模型合并为一个子模型并且确定所述一个子模型最适应于该处理器，其中，如果所述至少两个子模型之间的连接点被所述多个子模型中的其它子模型使用，则所述连接点被用作所述一个子模型的输出端。

6.如权利要求1所述的方法，其中，构建反映了所述对应关系的由合并后的子模型组成的异构图的步骤包括：

根据合并后的子模型之间的输入输出关系连接合并后的子模型以获得反映了所述对应关系的异构图。

7.如权利要求6所述的方法，其中，异构图包括与单输入任务相应的单输入类型异构图和与流输入任务相应的流输入类型异构图，

其中，所述流输入类型异构图中的子模型的数量与所述各个处理器的数量相同。

8.如权利要求7所述的方法，其中，针对输入任务执行异构图中的子模型的步骤包括：

判断所述输入任务是所述单输入任务还是所述流输入任务；

如果所述输入任务是所述单输入任务，则按照在根据所述单输入类型异构图设置的执行管线中的执行顺序有序地执行单输入类型异构图中的每个子模型；

如果所述输入任务是流输入任务，则按照在根据所述流输入类型异构图设置的执行管线中的执行顺序在所述流输入任务中的各个任务之间重叠地执行所述流输入类型异构图中的不同子模型。

9.如权利要求8所述的方法，其中，异构图中的子模型的初始化工作和结束工作分别被统一地执行。