[发明专利]实现基于异构模型图的深度神经网络模型的方法和装置

说明书

提供了一种实现基于异构模型图的深度神经网络模型的方法和装置。所述方法可包括：执行根据预定拆分标准将深度神经网络模型拆分为多个子模型的拆分操作；根据拆分出的所述多个子模型在各个处理器上的性能表现，对所述多个子模型中的至少部分子模型进行合并以获得合并后的子模型以及合并后的子模型与各个处理器之间的对应关系，其中，所述对应关系表示合并后的子模型在相应的处理器上运行时具有最佳的性能表现；构建反映了所述对应关系的由合并后的子模型组成的异构图；针对输入任务执行异构图中的子模型。

技术领域

本申请涉及深度学习领域，更具体地讲，涉及基于异构模型图的深度神经网络模型的方法和装置。

背景技术

随着计算能力的提高和科学计算的发展，图像识别、语音识别等识别技术的应用日益广泛。为了满足人们对识别速度和准确度等的不断增长的需求，技术人员研发出了神经网络。目前，主要通过基于硬件的设计方法和基于软件的设计方法来提高神经网络在硬件上运行时的性能。

为了提高神经网络的性能，现有技术往往采用基于硬件的设计方法，其中，基于硬件的设计方法通过将硬件设计为可配置系统级芯片(SOC)的方式或者通过硬件编程的方式来提高神经网络的性能。在将硬件设计为可配置系统级芯片(SOC)的方式中，SOC通常包括具有多种性能特性的芯片组，并且SOC在使用时必须有配套的驱动和软件支持。当神经网络在SOC上执行时，硬件会根据任务的类型将不同的任务派发给指定的处理器来完成相关计算工作。在硬件编程的方式中，针对指定的神经网络，通过硬件编程语言使得相关计算被提前设置在执行指令中，并且在执行过程中，通过将数据传输给相应硬件，使得相应硬件能够根据预设的执行指令进行相关神经网络的计算工作。

此外，为了使神经网络能够在异构平台上运行，现有技术往往采用基于软件的设计方法，其中，基于软件的设计方法利用OpenCL语言针对神经网络的每个执行操作进行编码，并且利用OpenCL能够支持目前主流的一些处理器这一特性，针对不同的硬件按照其特点编写不同的OpenCL内核代码，从而使得神经网络能够在异构平台上运行。此外，在执行框架的设计中，这些OpenCL代码按照执行操作类型或者资源使用情况被分别调用，从而实现一个神经网络在现有主流处理器上的异构执行。

但是，以上的基于硬件的设计方法和基于软件的设计方法存在以下的问题：(1)资源的利用率不高的问题：虽然可配置硬件能够在某种程度上提高神经网络的执行效率或者降低能耗，但在实际执行中会有很多硬件会被闲置，这也增加了硬件成本。(2)不够灵活的问题：由于很多设计直接针对特定模型定制编程，但是如果模型产生变化，则需要重新编程。随着模型越来越多且越来越复杂，这种方式将带来大量的开发与维护工作，大大降低了工作效率。(3)需要特定软硬件支持的问题：在基于硬件的异构中，必须有特定的SOC支持，但是目前主流嵌入式设备更多是传统的多种处理器的架构。基于软件设计的方法要求软件设计人员必须使用类似OpenCL这种跨平台语言，并且这种方式只能应用在OpenCL支持的那些硬件上，但是新出现的硬件(例如NPU)具有特殊的编译器和指令集，与传统编程方式完全不同，所以这些硬件无法通过现有软件架构实现与其他处理器协同工作。

因此，需要一种能够克服以上问题的可使神经网络在异构平台上高效运行的方法和装置。

发明内容

为了至少解决现有技术中存在的上述问题，本发明提供了一种实现基于异构模型图的深度神经网络模型的方法和装置。