[发明专利]对包含元素级别操作的神经网络进行剪枝

说明书

本发明提供了一种对包含元素级别操作的神经网络进行剪枝。神经网络中元素级别操作的输入层可以被剪枝，以使经剪枝的层的形状(如高度、宽度和深度)匹配。剪枝引擎将所有输入层识别为元素级别操作。对于输入层中的每个对应神经元集合，剪枝引擎均衡化与所述神经元相关联的度量，以生成与所述集合相关联的经均衡度量。剪枝引擎基于针对每个唯一对应神经元集合生成的经均衡度量来剪枝输入层。

背景技术

为了方便训练，神经网络经常被过度参数化。过度参数化导致计算复杂并且内存密集的神经网络，其中层间存在大量冗余连接。神经网络可以被剪枝(prun)以断开连接，从而降低网络的复杂性。在某些情况下，剪枝神经网络会降低性能或影响神经网络的准确性。例如，将输入层剪枝成神经网络中的元素级别(element-wise，按元素)操作可能会阻止元素级别操作的执行或影响元素级别操作其他方面的性能。

附图说明

因此，为了更详细地理解各个实施例的上述特征，可以参照各个实施例来获得对上面简要概述的发明构思的更具体的描述，其中一些实施例在附图中示出。然而，应当注意的是，附图只示出了发明构思的典型实施例，因此不应当认为以任何方式限制其范围，而且还存在其他同样有效的实施例。

图1示出了被配置为实现各个实施例的一个或更多个方面的系统。

图2A示出了根据各个实施例的用于剪枝神经网络的剪枝工作流程。

图2B示出了根据各个实施例的神经网络和经剪枝神经网络的示例。

图2C示出了根据各个实施例的包括元素级别操作的神经网络的一部分。

图3是根据各个实施例的图1中的剪枝引擎的详细说明。

图4是根据各个实施例的用于将包含在神经网络中的输入层剪枝为元素级别操作的方法步骤的流程图。

图5示出了根据各个实施例的残差网络中的网络块的体系结构。

图6是根据各种实施例的用于对残差网络中卷积层和识别层进行剪枝的方法步骤的流程图。

图7是被配置为实现各个实施例的一个或更多个方面的计算机系统的框图。

图8是根据各个实施例的在图7的并行处理子系统中包括的并行处理单元(PPU)的框图。

图9是根据各个实施例的在图8的并行处理单元(PPU)中包括的通用处理集群(GPC)的框图。

具体实施方式

在下面的描述中，提出了许多具体细节以提供对各个实施例的更透彻的理解。然而，对于本领域技术人员来说，显而易见的是，在没有这些具体细节中的一个或更多个的情况下，依然可以实践本发明构思。

系统综述

图1示出了被配置为实现各个实施例的一个或更多个方面的系统100。如图所示，计算机系统100包括通过网络140可通信地耦合的训练计算系统110、服务器计算系统120和客户端计算系统130。

在一个实施例中，训练计算系统110包括内存120、训练数据库116和一个或更多个处理单元118。一个或更多个处理单元118可以包括任何技术上可行的硬件单元集合，被配置为处理数据和执行软件应用程序。例如，处理单元118可以是中央处理单元、图形处理单元、微处理器、ASIC、FPGA、控制器或微控制器。

在一个实施例中，内存120可以包括一个或更多个非暂时计算机可读存储介质，如RAM、ROM、EEPROM、EPROM、闪存设备、磁盘等及其组合。在一个实施例中，内存120存储由一个或更多个处理单元118执行的数据和指令。在一个实施例中，内存120包括由一个或更多个处理单元118执行的训练引擎112和剪枝引擎114。