[发明专利]一种用于执行卷积神经网络训练的装置和方法

权利要求书

1.一种卷积神经网络训练的装置，包括存储单元、寄存器单元和卷积神经网络反向训练运算单元，其中：

存储单元，用于存储输入神经元数据、输出神经元数据、输入神经元数据梯度、输出神经元数据梯度和卷积核；

所述寄存器单元，用于存储输入神经元数据存储的地址、输出神经元数据存储的地址、输入神经元数据梯度存储的地址、输出神经元数据梯度存储的地址和卷积核存储的地址；

所述卷积神经网络反向训练运算单元，用于依据卷积核，从当前层的正向时输入神经元数据中选择出对应待运算的输入神经元数据，然后依据该输入神经元数据和来自当前层的输出神经元数据梯度进行向量乘向量运算，得到卷积核梯度，按卷积窗口遍历完输入神经元数据后，对卷积核梯度进行求和得到该卷积核对应的梯度，依据卷积核对应的梯度更新卷积核。

2.根据权利要求1所述的装置，其特征在于，所述卷积神经网络反向运算的指令包括以下至少一种：

卷积神经网络卷积层sigmoid导数指令，根据该指令，分别从数据访问单元的指定地址取出指定大小的输出神经元数据梯度和卷积核，根据激活函数类型，即sigmoid，在卷积神经网络反向训练运算部件中做卷积层的反向运算，然后将输出结果根据sigmoid导函数进行运算，写回到数据访问单元的指定地址；

卷积神经网络卷积层TanH导数指令，根据该指令，分别从数据访问单元的指定地址取出指定大小的输出神经元数据梯度和卷积核，根据激活函数类型，即TanH，在卷积神经网络反向训练运算部件中做卷积层的反向运算，然后将输出结果根据TanH导函数进行运算，写回到数据访问单元的指定地址；

卷积神经网络卷积层ReLU导数指令，根据该指令，分别从数据访问单元的指定地址取出指定大小的输出神经元数据梯度和卷积核，根据激活函数类型，即ReLU，在卷积神经网络反向训练运算部件中做卷积层的反向运算，然后将输出结果根据ReLU导函数进行运算，写回到数据访问单元的指定地址；

卷积神经网络group指令，根据该指令，分别从数据访问单元的指定地址取出指定大小的输出神经元数据梯度和卷积核，划分group之后，在卷积神经网络反向训练运算部件中做卷积操作，然后将输出结果做激活；所述指令还包括：

IO指令，实现从外部地址空间读入计算需要的输入神经元数据以及在计算完成后将数据存回至外部空间；

NOP指令，负责清空当前装至内部所有控制信号缓存队列中的控制信号，保证NOP指令之前的所有指令全部指令完毕NOP指令本身不包含任何操作；

JUMP指令，负责控制器将要从指令存储单元读取的下一条指令地址的跳转，用来实现控制流的跳转；

MOVE指令，负责将内部地址空间某一地址的数据搬运至内部地址空间的另一地址，该过程独立于主运算模块和从运算模块，在执行过程中不占用主运算模块和从运算模块的资源。

3.根据权利要求1所述的装置，其特征在于，

所述卷积神经网络反向训练运算单元，还用于依据卷积核和输出数据梯度以及激活函数的导函数计算得到输入数据的梯度，将该输入数据的梯度作为当前层的下一层的输出数据梯度存入存储单元进行下一层计算。

4.根据权利要求1所述的装置，其特征在于，所述卷积神经网络反向训练运算单元包括：主运算模块和多个从运算模块；

每个从运算模块，用于将来自前一层的输入神经元数据x乘以来自后一层的输入神经元数据梯度ds，在卷积窗口遍历完输入神经元数据之后，对进行求和，得到该卷积核对应的梯度；

主运算模块，用于求解当前层所有的从运算模块的卷积核梯度对应的平方平均数当c大于阈值t时，所有梯度进行缩放dw′＝dw/c*t，最后，依据新的卷积核梯度dw′更新卷积核的值；

所述卷积神经网络反向训练运算单元包括：数据通道模块；

所述数据通道模块构成主运算模块和所述多个从运算模块之间的数据通路；

所述数据通道模块为互连模块，所述互连模块为以下任一种结构：树状结构、环状结构、网格状结构、分级互连或总线结构；

所述树状结构为：H数结构，所述H树结构包括：多个节点构成的二叉树结构。