[发明专利]通过跳过处理操作来减少神经网络处理器中的功耗

说明书

深度神经网络(“DNN”)模块可以确定由神经元对输入缓冲区或权重缓冲区中的某些值的处理是否可以被跳过。例如，DNN模块可以确定神经元是否可以跳过对神经元缓冲区的整个列中的值的处理。例如，如果输入缓冲区或权重缓冲区的整个列为零，则可以跳过对这些值的处理。DNN模块还可以确定对输入缓冲区或权重缓冲区的行中的单个值的处理(例如，如果这些值为零)是否可以被跳过。由于跳过操作而提早完成其处理的神经元可以协助其他神经元进行其处理。可以在将由神经元执行的处理操作的结果传递给其正确所有者的处理完成之后执行组合操作。

背景技术

在诸如人脑等生物神经系统中的信息处理和通信模式之后，对深度神经网络(“DNN”)进行松散建模。DNN可以用于解决复杂的分类问题，诸如但不限于对象检测、语义标记和特征提取。结果，DNN形成了很多人工智能(“AI”)应用的基础，诸如计算机视觉、语音识别和机器翻译。在这些领域中的很多领域，DNN都可以匹配或超过人类的准确性。

DNN的高级性能源于它们在对大数据集使用统计学习以获取输入空间的有效表示之后从输入数据中提取高级特征的能力。然而，DNN的优越性能是以高计算复杂度为代价的。诸如图形处理单元(“GPU”)等高性能通用处理器通常用于提供由很多DNN应用所需要的高水平计算性能。

尽管如GPU的通用处理器可以为实现DNN提供高水平的计算性能，但是这些类型的处理器通常不适合在低功耗至关重要的计算设备中长时间执行DNN操作。例如，诸如GPU等通用处理器可能不适合在如智能电话或替代/虚拟现实(AR/VR)设备等需要降低的功耗以延长电池寿命的电池供电的便携式设备中执行长时间运行的DNN任务。

在执行诸如人体移动的检测等连续DNN任务的同时降低功耗，在诸如以太网供电(“POE”)安全相机等非电池供电的设备中也很重要。在该特定示例中，POE交换机可能仅提供有限的电量，并且减少如安全相机等POE设备的功耗允许使用提供更少功率的POE交换机。

与通用处理器相比，已经开发出可以在降低功耗的同时提供高性能DNN处理的专用集成电路(“ASIC”)。尽管该领域取得了进步，然而仍然需要提高执行DNN处理的ASIC的性能并且降低其功耗，尤其对于在低功耗至关重要的计算设备中的使用。

关于这些和其他技术挑战，提出了本文中进行的公开内容。

发明内容

本文中公开了一种神经网络模块或处理器，其可以通过跳过某些类型的神经网络处理操作的执行来提高吞吐量并且降低功耗。更具体地，本文中公开的神经网络模块可以在某些条件下跳过对输入数据和权重数据或其他类型的数据执行的算术运算，从而与先前的硬件神经网络处理器相比提高吞吐量并且节省功率。还可以通过所公开的技术方案的实现来实现本文中未具体提及的其他技术益处。

为了实现上面简要提到的技术益处，提供了一种DNN模块，其包括神经元和神经元缓冲区。神经元缓冲区存储输入缓冲区和权重缓冲区，输入缓冲区包含到神经网络的输入数据，并且权重缓冲区存储限定神经网络的方面的权重。输入缓冲区中的输入数据和权重缓冲区中的权重数据可以被组织成对应的行和列。在不同实施例中，输入缓冲区和权重缓冲区可以以不同方式用硬件来实现。

在一个实施例中，DNN模块提供用于全列操作跳过的功能。在该实施例中，DNN模块中的神经元同步操作。输入缓冲区和权重缓冲区中的每列数据是将在单个时钟周期内被馈送到所有神经元的数据。行包括被提供给每个神经元的数据。输入缓冲区的列和权重缓冲区的列相匹配。也就是说，如果跳过对输入缓冲区的列的处理，则也跳过对权重缓冲区的对应列的处理，反之亦然。

为了执行按列操作跳过，DNN模块可以确定输入缓冲区的整个列或权重缓冲区的整个列中的值是否是特定值或在值的范围内。例如，在一个特定实施例中，DNN模块中的组分区器和调度器确定输入缓冲区的整个列中的所有值是否均为零。例如，这可以在卷积运算期间发生，其中零输入值或权重值将导致被浪费的处理周期。