[发明专利]神经网络运算装置及方法

说明书

一种神经网络运算装置，包括：稀疏化处理单元，用于对权值矩阵进行稀疏化处理，生成一二进制的稀疏序列，其中，“0”对应权值矩阵中数值为“0”的元素，“1”对应变换后权值矩阵中数值不为0的元素；映射单元，用于所述生成稀疏序列与神经元矩阵中元素位置的映射关系表，稀疏序列的第K位对应M行×N列神经元矩阵中第i行第j列元素，且满足(i‑1)×N+j＝K或者(j‑1)×M+i＝K；控制器，用于控制所述稀疏化处理单元生成稀疏序列以及控制所述映射单元生成映射关系表。

技术领域

本披露涉及人工神经网络技术领域，具体涉及一种神经网络运算装置以及神经网络的运算方法。

背景技术

多层人工神经网络被广泛应用于模式识别、图像处理、函数逼近和优化计算等领域，多层人工网络在近年来由于其较高的识别准确度和较好的可并行性，受到学术界和工业界越来越广泛的关注。

为了适应越来越来高的任务需求，神经网络的规模变得越来越庞大，目前大型的卷积神经网络已经包含了上百层的网络层结构。随之带来的问题神经网络需要做更大量的运算，特别是卷积神经网络，大量的卷积运算降低了神经网络的运算速度，影响神经网络在实际应用场合的使用。

发明内容

(一)要解决的技术问题

有鉴于此，本披露的目的在于提供一种神经网络运算装置神经网络的运算及方法，以至少部分解决以上所述的技术问题。

(二)技术方案

本披露一方面提供一种神经网络运算装置，包括稀疏化处理单元，用于对权值矩阵进行稀疏化处理，生成一二进制的稀疏序列，其中，“0”对应权值矩阵中数值为“0”的元素，“1”对应变换后权值矩阵中数值不为0的元素；映射单元，用于所述生成稀疏序列与神经元矩阵中元素位置的映射关系表，稀疏序列的第K位对应M行×N列神经元矩阵中第i行第j列元素，且满足(i-1)×N+j＝K或者(j-1)×M+i＝K；

控制器，用于控制所述稀疏化处理单元生成系数序列以及控制所述映射单元生成映射关系表。

在进一步的实施方案中，神经网络运算装置用于以矩阵乘法的方式实现神经网络中的权值矩阵与神经元的卷积运算，其中包括：

移位运算器，用于对所述神经元矩阵和权值矩阵分别进行winograd变换，得到变换后神经元矩阵和变换后权值矩阵；

矩阵乘法运算器，用于将所述变换后神经元矩阵和变换后权值矩阵进行对位相乘的矩阵乘法操作，得到乘法矩阵；

所述移位运算器还用于将所述乘法矩阵进行winograd反变换，得到卷积运算结果；

控制器，用于控制所述移位运算器进行winograd变换或winograd反变换，还用于控制所述矩阵乘法运算器进行矩阵乘法操作。

在进一步的实施方案中，还包括片上缓存，用于存储所述神经元矩阵和权值矩阵，还用于存储对神经元矩阵进行winograd变换的变换矩阵C，用于存储对权值矩阵进行winograd变换的变换矩阵G。

在进一步的实施方案中，所述变换矩阵C和所述变换矩阵G中的元素数值独立为±2ⁿ或0，n为整数。

在进一步的实施方案中，所述片上缓存还用于存储进行winograd反变换矩阵，还用于存储对神经元矩阵进行winograd反变换的反变换矩阵A。

在进一步的实施方案中，所述反变换矩阵A中的元素数值为±2ⁿ或0，n为整数。