[发明专利]神经网络压缩的方法、数据处理的方法及相关装置

说明书

本申请提供一种神经网络压缩的方法、数据处理的方法及相关装置。涉及人工智能领域，具体涉及计算机视觉领域。该方法包括：对待压缩的三维卷积神经网络包括的第一三维卷积核执行以下操作：在该第一三维卷积核的时间维度上对该第一三维卷积核进行正交变换；根据正交变换后的该第一三维卷积核在时间维度上的稀疏性，对该第一三维卷积核的时间维度进行剪枝，得到压缩后的三维卷积神经网络。本申请通过在待压缩的三维卷积神经网络的三维卷积核的时间维度上对该三维卷积核进行正交变换，并对正交变换后的三维卷积核的稀疏的时间维度进行剪枝，相对于现有技术，可以进一步减少三维卷积神经网络的参数量与计算量。

技术领域

本申请涉及人工智能技术领域，特别涉及一种神经网络压缩的方法、数据处理的方法及相关装置。

背景技术

三维卷积神经网络(convolutional neural networks，CNN)的输入是视频(或多帧图像)，因此，三维卷积(3 dimension convolution，3D CONV)除了在高、宽的空间上进行滑动，还在时间维度(或称为深度维度)上进行滑动。因为三维卷积考虑了视频或多帧图像的时间维度之间的相互信息，三维卷积适合于视频领域和三维图像领域的相关处理。

业界提出针对卷积神经网络模型的压缩，以减少卷积神经网络的参数量和计算量。当前技术中，针对三维卷积神经网络模型的压缩，是通过迁移二维卷积神经网络模型的压缩方法来实现的，这样做，不能有效地减少三维卷积神经网络的计算量。

进一步减少三维卷积神经网络的计算量，是亟需解决的技术问题。

发明内容

本申请提供一种神经网络压缩的方法、数据处理的方法及相关装置，相对于现有技术，可以进一步减少三维卷积神经网络的参数量与计算量。

第一方面，提供一种神经网络压缩的方法，所述方法包括：对待压缩的三维卷积神经网络包括的第一三维卷积核执行以下操作：在该第一三维卷积核的时间维度上对该第一三维卷积核进行正交变换；根据正交变换后的该第一三维卷积核在时间维度上的稀疏性，对该第一三维卷积核的时间维度进行剪枝，得到压缩后的三维卷积神经网络。

在第一三维卷积核的时间维度上对该第一三维卷积核进行正交变换，表示，对第一三维卷积核的每个时间点上的二维卷积核做正交变换。

三维卷积核在时间维度上具有相似性，通过在三维卷积核的时间维度上对三维卷积核进行正交变换，可以使得具有较大相似性的二维卷积核(指的是，三维卷积核中各个时间点上的二维卷积核)呈现出稀疏性，从而可以删掉较为稀疏的二维卷积核，实现对三维卷积核的时间维度上的剪枝。

本申请通过在待压缩的三维卷积神经网络的三维卷积核的时间维度上对该三维卷积核进行正交变换，从而可以对正交变换后的三维卷积核中稀疏的时间维度进行剪枝，相对于现有技术，可以进一步减少三维卷积神经网络的参数量，因此，可以有效减少三维卷积神经网络的计算量。

结合第一方面，在第一方面的一种可能的实现方式中，所述在第一三维卷积核的时间维度上对该第一三维卷积核进行正交变换，包括：采用正交矩阵，在该第一三维卷积核的时间维度上对该第一三维卷积核进行正交变换，。

所述正交矩阵的获取方法可以有多种。

作为一种可选的实施方式，所述正交矩阵通过对三维卷积核进行离散余弦变换(discrete cosine transform，DCT)得到。

作为另一种可选的实施方式，所述正交矩阵通过学习得到。所述正交矩阵是通过目标优化函数学习得到的，该目标优化函数包括第一项与第二项，该第一项使得该正交变换可逆，该第二项使得该正交变换后的该第一三维卷积核在时间维度是稀疏的。

作为一种实施方式，用于学习正交矩阵的目标优化函数可以为如下目标优化函数(1)。

目标优化函数(1)