[发明专利]一种用于执行全连接层神经网络训练的装置和方法

摘要

本发明提供了一种用于执行人工神经网络全连接层反向训练的装置，包括指令存储单元、控制器单元、数据访问单元、互连模块、主运算模块、以及多个从运算模块。使用该装置可以实现人工神经网络全连接层的反向训练。对于每一层来说，首先对输入梯度向量进行加权求和计算出本层的输出梯度向量。该输出梯度向量乘以下一层在正向运算时的激活函数的导数值可以得到下一层的输入梯度向量。将输入梯度向量与正向运算时的输入神经元对位相乘得到本层权值的梯度，然后可以根据所得到的本层权值的梯度来更新本层的权值。

主权项

1.一种用于执行人工神经网络全连接层反向训练的装置，所述装置用于执行人工神经网络全连接层反向训练的指令；所述装置包括指令存储单元、控制器单元、直接内存访问单元、互连模块、主运算模块、从运算模块，其中：直接内存访问单元，用于执行数据的读写操作，从外部存储空间读取指令；指令缓存单元，用于缓存指令；控制器单元，用于从指令存储单元读取指令，并将该指令译码成控制互连模块、主运算模块、以及所述从运算模块行为的控制信号；所述互连模块，用于连接主运算模块和从运算模块；主运算模块，用于依据该控制信号将上一层的输出神经元梯度向量乘以本层激活函数导数得到输入神经元梯度向量，通过互连模块向从运算模块传输本层的输入神经元梯度向量；从运算模块，用于计算输入神经元梯度向量与权值矩阵中该从运算模块对应列的乘积，得到本层输出神经元梯度向量部分和；互连模块，用于依据从运算模块的输出神经元梯度向量部分和得到本层的输出神经元梯度向量；主运算模块，在下一层的计算过程中，利用本层的输出神经元梯度向量完成后续计算；从运算模块，还用于将输入神经元梯度向量与该从运算模块对应的输入神经元数据计算得到本层的权值梯度；主运算模块，用于对本层的权值梯度进行处理得到本层的第二权值梯度，依据第二权值梯度进行本层权值的更新。