[发明专利]一种用于执行全连接层神经网络正向运算的装置和方法

权利要求书

1.一种用于执行人工神经网络全连接层正向运算的装置，包括互连模块、主运算模块、以及多个从运算模块，其中：

主运算模块用于实现人工神经网络全连接层算法中的函数激活运算；

从运算模块用于实现人工神经网络全连接层算法中的输入神经元和权值参数的乘法和加法运算；

其中，互连模块用于连接主运算模块和从运算模块，以在所述主运算模块和所述从运算模块之间的数据传输；

所述互连 模块还用于在神经网络全连接层正向运算开始之前，将主运算模块种的输入神经元向量输送到每一个从运算模块；以及在从运算模块的计算过程结束后，逐级将各从运算模块的输出神经元值拼成中间结果向量，输送回主运算模块，用于后续计算；

其中，所述主运算模块包括第一存储单元、第一运算单元和第一数据依赖关系判定单元，其中：

第一存储单元用于缓存主运算模块在计算过程中用到的输入数据和输出数据；

第一运算单元用于完成主运算模块的各种运算功能；

数据依赖关系判定单元是第一运算单元读写第一存储单元的端口，保证对第一存储单元的数据读写不存在一致性冲突，并且负责从第一存储单元读取输入的神经元向量，并通过互连模块发送给从运算模块；以及来自互连模块的中间结果向量被发送到第一运算单元；

其中，每个从运算模块包括第二运算单元、第二数据依赖关系判定单元、第二存储单元和第三存储单元，其中：

第二运算单元接收控制器单元发出的控制信号并进行算数逻辑运算；

第二数据依赖关系判定单元负责计算过程中对第二存储单元和第三存储单元的读写操作，保证对第二存储单元和第三存储单元的读写不存在一致性冲突；

第二存储单元缓存输入神经元的数据以及该从运算模块计算得到的输出神经元值；以及

第三存储单元缓存该从运算模块在计算过程中需要的权值向量。

2.根据权利要求1所述的装置，其特征在于，还包括数据访问单元和指令单元，其中，

所述数据访问单元用于执行外部地址空间与所述装置之间的数据或指令读写操作；

所述指令存储单元通过数据访问单元读入指令并存储读入的指令。

3.根据权利要求2所述的装置，其特征在于，还包括：

控制单元，用于从指令存储单元中读取指令，将指令译成控制其他模块行为的控制信号，所述其他模块包括数据访问单元、主运算模块和所述多个从运算模块；

所述指令包括以下至少一种：

CONFIG指令，在每层人工神经网络计算开始前配置当前层计算需要的各种常数；

COMPUTE指令，完成每层人工神经网络的算术逻辑计算；

IO指令，实现从外部地址空间读入计算需要的输入数据以及在计算完成后将数据存回至外部空间；

NOP指令，负责清空当前装置内部所有控制信号缓存队列中的控制信号，保证NOP指令之前的所有指令全部执行完毕；

JUMP指令，负责控制将要从指令存储单元读取的下一条指令地址的跳转，用来实现控制流的跳转；

MOVE指令，负责将装置内部地址空间某一地址的数据搬运至装置内部地址空间的另一地址，该过程独立于运算单元，在执行过程中不占用运算单元的资源。

4.根据权利要求1所述的装置，其中，所述多个从运算模块，用于根据相同的输入神经元向量和各自的权值向量，并行地计算出各自的输出神经元值，每个从运算模块的权值向量是权值矩阵中与该从运算模块相对应的行向量。

5.根据权利要求1所述的装置，其中主运算模块进行函数激活运算时使用的激活函数active是非线性函数，优选的为sigmoid，tanh，relu，softmax中的任一个；或所述激活函数active为线性函数。

6.根据权利要求1所述的装置，其中主运算模块用于对中间结果向量加偏置，然后执行激活操作。

7.根据权利要求1所述的装置，其中，所述互连模块构成主运算模块和所述多个从运算模块之间的连续或离散化数据的数据通路，互连模块为以下至少一种结构：树状结构、环状结构、网格状结构、分级互连和总线结构。