[发明专利]一种降低深度神经网络数据迁移及功耗的卷积运算结构

权利要求书

1.一种降低深度神经网络数据迁移及功耗的卷积运算结构，其特征在于，包括乘法器和加法器，乘法器的输入端分别连接多路复选器MUX1和多路复选器MUX2，乘法器的输出端与多路复选器MUX1的输出端经多路复选器MUX3与加法器的输入端连接，加法器的输入端还连接有多路复选器MUX4的输入端，多路复选器MUX1、多路复选器MUX2、乘法器、多路复选器MUX3、多路复选器MUX4的输出端和加法器的输入端分别连接寄存器reg1，加法器的输出端连接寄存器reg2，寄存器reg2的输出端连接多路复选器MUX4的输入端，用于实现卷积运算的乘累加操作；输入特征图(input fmaps)的高、宽、深度分别是H_if、W_if和C，卷积核(filter或weight)的高、宽、深度分别是R_iw、S_iw和C，卷积运算的过程就是从输入特征图的顶点处选择与卷积核相同大小的区域进行逐个乘累加操作，之后以步长ΔT滑动进行相同操作，输出特征图的O₀₀元素值为：

其中，f为输入特征图中的数据元素，w为卷积核中的权重值，下标代表其横纵坐标。

2.根据权利要求1所述的降低深度神经网络数据迁移及功耗的卷积运算结构，其特征在于，在输入方向，输入特征数据f_xy以及PE间可复用的特征数据f_reuse通过多路复选器MUX1后作为乘法器的一端输入，输入权值w_ij以及PE间可复用的权值w_reuse通过多路复选器MUX2后作为乘法器的另一端输入。

3.根据权利要求1所述的降低深度神经网络数据迁移及功耗的卷积运算结构，其特征在于，乘法器的输出与MUX1的输出经过多路复选器MUX3后作为加法器的一端输入，多路复选器MUX3用于当输入特征数据为0值时，乘法结果为0，不激活乘法器，将0值旁路输入加法器。

4.根据权利要求3所述的降低深度神经网络数据迁移及功耗的卷积运算结构，其特征在于，加法器的另一端输入由多路复选器MUX4提供，多路复选器MUX4的输入分别是系统初值0和上一周期PE输出结果inter_psum，当PE执行每一轮卷积操作的第一次运算时选择初值0进行加法运算，以后均选择inter_psum完成累加操作。

5.根据权利要求1所述的降低深度神经网络数据迁移及功耗的卷积运算结构，其特征在于，在输入方向，控制信号提供MUX1/MUX2/MUX3/MUX4的选择信号，并提供乘法器、加法器、寄存器reg1和reg2的使能信号。

6.根据权利要求5所述的降低深度神经网络数据迁移及功耗的卷积运算结构，其特征在于，在输出方向，寄存器reg1和reg2分别对输入特征数据和输入权值进行锁存。

7.根据权利要求6所述的降低深度神经网络数据迁移及功耗的卷积运算结构，其特征在于，输入特征数据f_xy的访问次数N_{ifmap_opt}计算如下：

其中，为向下取整操作，R_iw、S_iw为卷积核的高、宽，H_if、W_if为输入特征图的高、宽，ΔT为步长。