[发明专利]一种基于winograd卷积运算的卷积神经网络数据处理方法及装置

权利要求书

1.一种基于winograd卷积运算的卷积神经网络数据处理方法，包括：

1)根据卷积神经网络模型的权值g以及转换矩阵G，基于GgG^T计算针对权值的中间矩阵U；

2)对所述针对权值的中间矩阵U进行压缩，以获得用于指示U中有效元素的数值的压缩转换权值矩阵Uz、以及用于指示U中有效元素的坐标的压缩坐标编码S；

3)根据所述压缩坐标编码S，计算针对中间矩阵V＝[B^TdB]的压缩结果以作为压缩转换特征图Vz，其中d为卷积神经网络的输入特征图，B是转换矩阵；步骤3)包括：

3-1)根据所述压缩坐标编码S所指示的U中有效元素的行坐标和列坐标，从中间矩阵C₁＝[B^Td]以及转换矩阵B中提取相应的行列；

3-2)根据所提取的行列执行乘法操作，获得压缩转换特征图Vz；

4)对所述压缩转换权值矩阵Uz和所述压缩转换特征图Vz执行点乘操作，得到点乘矩阵Mz；

5)根据所述点乘矩阵Mz、转换矩阵A，基于A^TMzA计算针对所述输入特征图d的卷积运算结果F；

其中，所述方法采用卷积神经网络数据处理装置进行处理，所述装置包括存储器、地址生成单元、累加单元、点乘单元、稀疏矩阵转换单元，其中，

存储器，用于存储实现winograd卷积的数据内容，包括经过压缩的权值转换中间矩阵及其压缩编码、需要执行卷积运算的输入特征图、矩阵转换参数，并用于存储执行winograd卷积运算时所需的神经网络控制指令，以使得所述装置可以向其内部的各个单元输入相应的控制指令以及待处理数据并控制存储器存储经由各个执行运算的单元产生的中间结果或数据处理结果；

地址生成单元，用于接收压缩编码，分析压缩编码并生成参与计算的数据地址，所生成的地址包括针对神经元矩阵转换矩阵乘法时，参与运算矩阵的行与列地址，以及参与运算的有效转换参数的地址；

累加单元，用于接收稀疏矩阵转换单元针对单一输入特征图卷积输出结果，并针对其结果执行累加操作，得到输出神经元；

点乘单元，用于对来自存储器的数据，包括权值转换中间矩阵以及稀疏矩阵转行模块的稀疏神经元矩阵转换结果，进行点乘操作，其结果被传输至稀疏矩阵转换单元；

稀疏矩阵转换单元，用于根据来自存储器的数据，包括输入神经元、矩阵转换参数、以及矩阵转换的中间结果，执行winograd卷积过程中针对包含具有稀疏性的矩阵的转换运算，并将矩阵转换中间结果或者输出神经元传输至存储器进行存储。

2.根据权利要求1所述的方法，其中所述有效元素为非零元素。

3.根据权利要求2所述的方法，其中步骤1)还包括：对计算得到的所述中间矩阵U执行剪枝处理。

4.根据权利要求1所述的方法，其中步骤3)包括：

计算中间矩阵V＝[B^TdB]，利用压缩坐标编码S对V进行压缩以获得所述压缩转换特征图Vz。

5.根据权利要求1-4中任意一项所述的方法，其中所述压缩坐标编码S被存储为可由计算机确定所述压缩转换权值矩阵Uz中的元素与所述压缩坐标编码S中的元素的对应关系。

6.根据权利要求1-4中任意一项所述的方法，其中步骤2)中所述压缩坐标编码S的每个元素采用2n个比特编码，其中第一n个比特表示U中有效元素的行坐标，第二n个比特表示U中有效元素的列坐标，其中，n≥1。

7.根据权利要求6所述的方法，其中步骤5)包括：

5-1a)根据所述压缩坐标编码S所指示的U中有效元素的行坐标和列坐标，从A^T以及点乘矩阵Mz中提取相应的行列；

5-2a)根据所提取的行列执行乘法操作，以获得中间矩阵C₂＝[A^TMz]；

5-3a)根据所述C₂以及转换矩阵A，基于C₂A计算针对所述输入特征图d的卷积运算的结果F。