[发明专利]人工神经网络反向训练装置和方法

说明书

本发明提供了一种人工神经网络反向训练装置和方法，其中装置包括控制器单元、存储单元、学习率调整单元和运算单元，存储单元用于存储神经网络数据，包括指令、权值、激活函数的导数、学习率、梯度向量和学习率调整数据；控制器单元，用于从存储单元中读取指令，并将指令译码成控制存储单元、学习率调整单元和运算单元行为的微指令；学习率调整单元，每代训练开始前，根据上一代学习率和学习率调整数据，运算后得出用于本代学习率；运算单元，根据梯度向量、本代学习率、激活函数的导数和上一代权值计算本代权值。本发明的装置和方法使得训练迭代过程更加稳定，而且减少了神经网络训练至稳定所需的时间，提升了训练效率。

技术领域

本发明涉及人工神经网络，具体地涉及一种人工神经网络反向训练装置，以及一种人工神经网络反向训练方法。

背景技术

人工神经网络(Artificial Neural Networks，ANNs)简称为神经网络(NNs)，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间的相互连接关系，从而达到处理信息的目的。神经网络用到的算法就是向量乘法，并且广泛采用符号函数及其各种逼近。

一种支持多层人工神经网络反向训练的已知方法是使用通用处理器。该方法的缺点之一是单个通用处理器的运算性能较低，无法满足通常的多层人工神经网络运算的性能需求。而多个通用处理器并行执行时，通用处理器之间相互通信又成为了性能瓶颈。另外，通用处理器需要把多层人工神经网络反向运算译码成一长列运算及访存指令序列，处理器前端译码带来了较大的功耗开销。

另一种支持多层人工神经网络反向训练的已知方法是使用图形处理器(GPU)。GPU只有较小的片上缓存，多层人工神经网络的模型数据(权值)需要反复从片外搬运，片外带宽成为了主要性能瓶颈，同时带来了巨大的功耗开销。

发明内容

(一)要解决的技术问题

本发明的目的在于，提供一种支持自适应性学习率的人工神经网络反向训练的装置和方法，解决以上所述现有技术中的至少一项技术问题。

(二)技术方案

根据本发明的一方面，提供一种人工神经网络反向训练装置，包括控制器单元、存储单元、学习率调整单元和运算单元，其中，

存储单元，用于存储神经网络数据，包括指令、权值、激活函数的导数、学习率、梯度向量和学习率调整数据；

控制器单元，用于从存储单元中读取指令，并将指令译码成控制存储单元、学习率调整单元和运算单元行为的微指令；

学习率调整单元，每代训练开始前，根据上一代学习率和学习率调整数据，运算后得出用于本代训练的学习率；

运算单元，根据梯度向量、本代学习率、激活函数的导数和上一代权值计算本代权值。

进一步的，所述运算单元包括主运算单元、互联单元和多个从运算单元，所述梯度向量包括输入梯度向量和输出梯度向量，其中：主运算单元，用于在每一层的计算过程中，利用本层的输出梯度向量完成后续计算；互联单元，用于在每层神经网络反向训练开始计算的阶段，主运算单元通过互联单元向所有的从运算单元传输本层的输入梯度向量，在从运算单元的计算过程完成后，互联单元逐级将各从运算单元的输出梯度向量部分和两两相加得到本层的输出梯度向量；多个从运算单元，利用相同的输入梯度向量和各自的权值数据，并行地计算出相应的输出梯度向量部分和。

进一步的，所述存储单元为片上缓存。

进一步的，所述指令为SIMD指令。

进一步的，所述学习率调整数据包括权值变化量和误差函数。

根据本发明的另一方面，提供一种人工神经网络反向训练方法，包括步骤：