[发明专利]神经网络逐层调试

说明书

公开用于对目标处理器上的神经网络执行进行调试的技术。参考处理器可生成神经网络的多个第一参考张量。可反复地减小所述神经网络以产生多个长度。针对所述长度中的每一者，编译器将所述神经网络转换成第一机器指令，所述目标处理器执行所述第一机器指令以生成第一装置张量，并且调试器程序确定所述第一装置张量是否匹配第一参考张量。标识其中所述第一装置张量不匹配所述第一参考张量的最短长度。针对最短神经网络的较低层级中间表示来启用张量输出，并且将所述神经网络转换成第二机器指令，由所述目标处理器执行所述第二机器指令以生成第二装置张量。

背景技术

调试是用于改进计算装置在硬件或软件层级的功能的重要步骤。随着计算装置和其上运行的软件变得更加复杂，调试技术也扩展了更多的方法来检测所谓的错误、漏洞或缺陷。一些调试技术包含在编译指令内的某个位置设置断点，以便就地停止或暂停应用程序，同时可检查与应用程序相关联的不同变量和数据结构。其它技术可以其它方式使不可访问的数据在执行应用程序时写入到存储器，从而允许在应用程序完成后检查数据。虽然此类技术在简单系统中有用，但它们对于更复杂的硬件和软件设置来说价值不大。

人工神经网络(其在本文中称为“神经网络”)是具有基于生物神经网络的架构的计算系统。可使用训练数据来训练神经网络学习如何执行某一任务，例如对来自图像或视频的物理对象、活动、人物等进行标识或分类。例如深度神经网络等神经网络可包含多个层的处理节点。层中的每个处理节点可对由前一层中的处理节点生成的输入数据执行计算以生成输出数据。例如，处理节点可执行一组算术运算，例如乘法和加法，以生成中间输出，或对中间输出执行后处理操作以生成最终输出。例如深度神经网络等人工神经网络可包含数千个或更多的处理节点和数百万或更多的参数。

神经网络可使用例如中央处理单元(CPU)等计算机处理器实施以执行计算。还可使用针对并行链式计算而优化的专用处理器来实施神经网络，所述专用处理器可包含多个处理单元，例如脉动阵列。在某些情形下，对于相同的输入数据，此类专用处理器可比通用处理器表现更好。

附图说明

将参考各图描述根据本公开的各种实施例，图中：

图1示出用于神经网络的计算流模型的示例。

图2示出针对神经网络生成的一组示例的参考张量和装置张量。

图3A-3D示出减小神经网络的长度的示例步骤。

图4示出调试缩短的神经网络的执行的示例步骤。

图5示出调试缩短的神经网络的执行的示例步骤。

图6A和6B示出用于对目标处理器上的神经网络执行进行调试的方法的示例。

图7包含示出主机系统的示例的框图。

图8包含示出加速引擎的示例的框图。

图9包含示出集成电路装置的示例的框图。

图10包含示例网络的图。

具体实施方式

在系统开发期间，尤其是当两个系统根本不同时，例如软件和硬件，调试这两个系统之间的功能行为不匹配可能是个很大障碍。在许多情况下，由高级软件模型规定的操作和计算可能显著不同于其硬件实施方案。

出于多种原因，调试神经网络在例如具有一个或多个脉动阵列的处理器等专用处理器上的执行是具有挑战性的。一个原因是，许多中间结果无法由调试器程序直接访问。因为脉动阵列可由数百个单独的数据处理单元(DPU)构成，所以当多个DPB参与单个输出值的计算时，可能难以确定哪一DPU有缺陷。此外，当无法直接检查每个DPU输出时，具体地说，对于一般涉及许多并行和顺序求和的神经网络的执行，可能难以检测基于精度的求和错误的位置。在添加有限精度浮点数的序列时，可能会出现基于精度的求和错误。虽然在模型或参考计算中可通过将数字从最小到最大重新排序来减少这些错误，但在神经网络执行期间可能无法改变求和执行的次序，并且因此与参考计算不同。