[发明专利]一种用于执行卷积神经网络训练的装置和方法

摘要

本公开提供了一种执行卷积神经网络训练的装置和方法，其中装置部分包括了互连模块、主运算模块、以及多个从运算模块。对于每一层来说，首先对输入神经元向量依据卷积窗口进行数据选择，然后依据选择得到的来自前一层的数据和来自后一层的数据梯度作为本装置运算单元的输入，计算并且更新卷积核，其次依据卷积核、数据的梯度以及激活函数的导函数，计算得到本装置输出的数据梯度，并且存入存储器以输出给前一层进行反向传播计算。本公开将参与计算的数据和权重参数暂存在高速暂存存储器上，使得可以更加灵活有效地支持卷积神经网络反向运算，提升包含大量访存应用的执行性能。

主权项

一种用于执行卷积神经网络反向训练的装置，包括指令存储单元、控制器单元、数据访问单元、互连模块、主运算模块、多个从运算模块，其中：指令存储单元用于存储指令；控制器单元用于从指令存储单元读取指令，并将该指令译码成控制互连模块、主运算模块、以及所述多个从运算模块行为的控制信号；数据访问单元执行外部地址空间与所述装置之间的数据或指令读写操作；在每层神经网络反向训练开始计算的阶段，主运算模块通过互连模块向所有的从运算模块传输本层的输入数据；每个从运算模块计算自身的卷积核与输入数据的点积作为中间结果部分和，该卷积核与该中间结果部分和相对应；在从运算模块的计算过程完成后，互连模块逐级将各从运算模块的输出数据部分和拼接得到本层的中间结果；主运算模块在每一层的计算过程中，利用本层的中间结果完成后续计算。