[发明专利]一种神经网络训练方法及装置

说明书

本申请提供一种神经网络训练方法及装置，该装置选择单元和运算单元，运算单元用于对神经网络进行训练。本申请提供的技术方案具有成本低、能耗低的优点。

技术领域

本申请涉及芯片处理技术领域，具体涉及一种神经网络训练方法及装置。

背景技术

神经网络(neural network)已经获得了非常成功的应用。但是随着我们设计更大规模，更深层次的神经网络，将引入更多的权值，而超大规模权值成为神经网络应用的一个巨大挑战。大规模的权值对运算单元也提出更高要求，计算时间和计算能耗随之增加。因此，减少神经网络的权值并减少计算时间成为一个亟待解决的问题。

目前大部分的工作主要利用剪枝(pruning)的方法裁剪神经网络的神经元或者权值，从而减少神经网络参数规模，进而减少计算时间。但是，剪枝后的稀疏神经网络会引入不规则性，将原有规则的拓扑结构变得不规则，使得处理平台难以获得性能提升。

发明内容

本申请实施例提供了一种神经网络训练方法及装置，可以在保证神经网络拓扑结构规则的情况下，减少神经网络的参数规模并减少计算时间。因此其具有降低能耗，降低成本的优点。

第一方面，提供一种神经网络处理装置，包括：

选择窗口单元，用于通过滑动窗口从神经网络的权值中选取出M个权值，所述M为大于或等于2的整数；

选择分布模式单元，用于选择所述滑动窗口选取的M个权值的权值分布模式，所述权值分布模式包括规律分布模式；在所述规律分布模式下，所述M个权值中至少有两个权值相同；

运算单元，用于根据所述滑动窗口选取的M个权值对神经网络进行训练。

第二方面，提供一种神经网络训练装置，所述神经网络训练装置包括一个或多个如上述第一方面所述的神经网络处理装置，所述神经网络训练装置还包括外部设备、直接内存访问单元DMA、存储单元和控制器单元；所述神经网络处理装置包括选择窗口单元、选择分布模式单元和运算单元；所述神经网络处理装置用于所述存储单元获取待运算数据和控制信息，并执行指定的神经网络运算，将执行结果通过I/O接口传递给所述存储单元；

当所述神经网络运算装置包含多个所述神经网络处理装置时，所述多个所述神经网络处理装置间可以通过特定的结构进行连接并传输数据；

其中，多个所述神经网络处理装置通过快速外部设备互连总线PCIE总线进行互联并传输数据，以支持更大规模的神经网络的运算；多个所述神经网络处理装置共享同一控制系统或拥有各自的控制系统；多个所述神经网络处理装置共享内存或者拥有各自的内存；多个所述神经网络处理装置的互联。

第三方面，提供一种组合处理装置，所述组合处理装置包括如上述第二方面所述的神经网络训练装置、通用互联接口和其他处理装置；

所述神经网络训练装置通过所述通用互联接口与所述其他处理装置进行交互，共同完成用户指定的计算操作。

第四方面，提供一种神经网络芯片，所述神经网络芯片包括如上述第二方面所述的神经网络训练装置或如上述第三方面所述的组合处理装置。

第五方面，提供一种板卡，所述板卡包括上述第四方面所述的神经网络芯片。

第六方面，提供一种电子装置，所述电子装置包括上述第五方面所述的板卡。

第七方面，提供一种神经网络训练方法，包括：

通过滑动窗口从神经网络的权值中选取出M个权值，所述M为大于或等于 2的整数；

选择所述滑动窗口选取的M个权值的权值分布模式，所述权值分布模式包括规律分布模式；在所述规律分布模式下，所述M个权值中至少有两个权值相同；