[发明专利]一种深度神经网络压缩方法和装置

权利要求书

1.一种神经网络压缩方法，所述神经网络的神经元之间的连接关系由多个矩阵来表示，其特征在于，所述方法包括：

将所述多个矩阵的所有矩阵行进行跨矩阵重排，其中，重排后的矩阵行按序分块为多个子矩阵；

对多个子矩阵进行敏感度分析，以确定神经网络的初始压缩率；

按照所确定的初始压缩率对所述多个子矩阵进行压缩，以获得压缩后的神经网络，

其中，所述方法进一步包括：在执行完矩阵向量乘法之后，针对矩阵进行调序。

2.如权利要求1所述的方法，其特征在于，所述方法进一步包括对所述压缩后的神经网络进行重训的步骤。

3.如权利要求1所述的方法，其特征在于，所述的将所述多个矩阵的所有矩阵行进行跨矩阵重排的步骤进一步包括：

将所述多个矩阵在矩阵行的方向上顺次堆叠，形成大矩阵；

通过从大矩阵中每隔N行抽取一行，从而形成按序分块的N个大小相同的子矩阵，其中，所述N根据用于实现所述神经网络的计算单元的个数而确定，且这些计算单元能够以并行方式进行计算。

4.如权利要求1所述的方法，其特征在于，所述的对多个子矩阵进行敏感度分析，以确定神经网络的初始压缩率的步骤进一步包括：

获得压缩前的各个子矩阵所组成的神经网络的错误率；

分别对多个子矩阵按照相同的压缩率进行压缩，获得压缩后的各个子矩阵所组成的神经网络的错误率；

通过尝试不同的压缩率，找到压缩前后的错误率差值在阈值水平内的最大压缩率，找到的这个压缩率被确定为神经网络的初始压缩率。

5.如权利要求1所述的方法，其特征在于，所述的按照所确定的初始压缩率对所述多个子矩阵进行压缩，以获得压缩后的神经网络的步骤进一步包括：

将各个子矩阵中的元素按绝对值排序，从小到大对子矩阵中的非零元素进行置零，直到达到指定的压缩率。

6.一种神经网络压缩装置，所述神经网络的神经元之间的连接关系由多个矩阵来表示，其特征在于，所述装置包括：

重排分块单元，用于将所述多个矩阵的所有矩阵行进行跨矩阵重排，其中，重排后的矩阵行按序分块为多个子矩阵；

敏感度分析单元，用于对多个子矩阵进行敏感度分析，以确定神经网络的初始压缩率；

压缩单元，用于按照所确定的初始压缩率对所述多个子矩阵进行压缩，以获得压缩后的神经网络，

其中，所述装置进一步包括调序模块，用于在执行完矩阵向量乘法之后，针对矩阵进行调序。

7.如权利要求6所述的装置，其特征在于，所述装置进一步包括重训单元，用于对所述压缩后的神经网络进行重训。

8.如权利要求6所述的装置，其特征在于，所述重排分块单元进一步包括：

堆叠子单元，用于将所述多个矩阵在矩阵行的方向上顺次堆叠，形成大矩阵；

抽取分块子单元，用于通过从大矩阵中每隔N行抽取一行，从而形成按序分块的N个大小相同的子矩阵，其中，所述N根据用于实现所述神经网络的计算单元的个数而确定，且这些计算单元能够以并行方式进行计算。

9.如权利要求6所述的装置，其特征在于，所述敏感度分析单元进一步包括：

压缩前错误率获得子单元，用于获得压缩前的各个子矩阵所组成的神经网络的错误率；

压缩后错误率获得子单元，用于分别对多个子矩阵按照相同的压缩率进行压缩，获得压缩后的各个子矩阵所组成的神经网络的错误率；

初始压缩率确定子单元，用于通过尝试不同的压缩率，找到压缩前后的错误率差值在阈值水平内的最大压缩率，找到的这个压缩率被确定为神经网络的初始压缩率。

10.如权利要求6所述的装置，其特征在于，所述压缩单元进一步包括：

排序置零子单元，用于将各个子矩阵中的元素按绝对值排序，从小到大对子矩阵中的非零元素进行置零，直到达到指定的压缩率。

11.一种计算机可读介质，用于记录可由处理器执行的指令，所述指令在被处理器执行时，使得处理器执行如权利要求1所述的神经网络压缩方法。