[发明专利]一种用于执行卷积神经网络训练的装置和方法

权利要求书

1.一种用于执行卷积神经网络训练的装置，包括互连模块、主运算模块和多个从运算模块，所述主运算模块为一个，所述多个从运算模块通过所述互连模块连接至所述主运算模块，其中：

每个从运算模块计算自身的卷积核与输入神经元数据的点积作为中间结果部分和，该卷积核与该中间结果部分和相对应；

互连模块用于在从运算模块的计算过程完成后，逐级将各从运算模块的输出神经元数据部分和拼接得到本层的中间结果；还用于在每层神经网络训练开始计算的阶段，向所有的从运算模块传输主运算模块本层的输入神经元数据；

主运算模块在每一层的计算过程中，利用本层的中间结果完成后续计算。

2.根据权利要求1所述的装置，其特征在于，还包括指令存储单元和数据访问单元，所述指令存储单元用于存储指令，所述数据访问单元用于执行外部地址空间与所述装置之间的数据或指令读写操作。

3.根据权利要求2所述的装置，其特征在于，还包括控制器单元，所述控制器单元用于从指令存储单元中读取指令，并将该指令译码成控制互连模块、主运算模块、以及所述多个从运算模块行为的控制信号。

4.根据权利要求1所述的装置，其中，主运算模块包括第一运算单元和第一存储单元，其中：

第一运算单元包括向量加法单元以及激活单元，第一运算单元接收来自控制器单元的控制信号，完成主运算模块的各种运算功能；

向量加法单元用于实现卷积神经网络反向运算中的加偏置操作，该单元的输入为从外部地址空间读取出来的偏置向量，以及通过所述互连模块从运算模块传送回来的中间结果，输出为偏置向量与中间结果相加后的偏置结果；

激活单元用于实现卷积神经网络激活函数导函数乘法操作，该单元的输入为通过所述互连模块从运算模块传送回来的中间结果，或向量加法单元输出的偏置结果，输出为所述中间结果或偏置结果与激活函数导函数相乘后的输出神经元数据；

第一存储单元存储主运算模块在计算过程中用到的输入输出神经元数据，输入输出神经元数据梯度和卷积核数值。

5.根据权利要求1所述的装置，其中：

每个从运算模块包括第二运算单元、第二存储单元和第三存储单元；

第二运算单元包括向量乘单元以及累加单元，其中，向量乘单元用于实现输入神经元数据和卷积核的对位乘法，累加单元用于实现将对位乘法结果的每一项累加到一起的操作；

第二存储单元存储该从运算模块的输入神经元数据和输出的中间结果部分和；

第三存储单元存储该从运算模块在计算过程中需要的卷积核数据。

6.根据权利要求1所述的装置，其中：

每个所述从运算模块用于将来自前一层的输入神经元数据乘以来自后一层的输出神经元数据梯度，在卷积窗口遍历完数据之后，对每个所述从运算模块相乘运算后的数据进行求和，得到该卷积核对应的梯度；

所述主运算模块，用于求解当前层所有的从运算模块的卷积核的梯度对应的平方平均数，当c大于阈值t时，对所有梯度进行缩放, 然后依据缩放后的卷积核梯度更新卷积核的值。

7.根据权利要求1所述的装置，其中，主运算模块利用本层的中间结果完成后续计算还包括：

依据卷积核和当前层的输入神经元数据，得到要输出到前一层的数据梯度，

其中，ds为与当前层的输入神经元数据x有相互关系的当前层的输出神经元数据梯度，w为该输入神经元数据x与输出神经元数据的梯度ds对应的卷积核数据，h(x)为该输入神经元数据对应的激活函数的导函数的值；

然后乘以当前层的输入神经元数据对应的激活函数的导函数的值，得到输出给前一层的数据梯度；

将该梯度输出到外部地址空间，用以进行其前一层的卷积反向运算。

8.根据权利要求1所述的装置，其中，所述互连模块构成主运算模块和所述多个从运算模块之间的数据通路，互连模块为以下任一种结构：树状结构、环状结构、网格状结构、分级互连、总线结构。