[发明专利]神经网络压缩的方法、数据处理的方法及相关装置

权利要求书

1.一种神经网络压缩的方法，其特征在于，包括：

对待压缩的三维卷积神经网络包括的第一三维卷积核执行以下操作：

在所述第一三维卷积核的时间维度上对所述第一三维卷积核进行正交变换；

根据正交变换后的所述第一三维卷积核在时间维度上的稀疏性，对所述第一三维卷积核的时间维度进行剪枝，得到压缩后的三维卷积神经网络。

2.根据权利要求1所述的方法，其特征在于，所述在第一三维卷积核的时间维度上对所述第一三维卷积核进行正交变换，包括：

采用正交矩阵，在所述第一三维卷积核的时间维度上对所述第一三维卷积核进行正交变换，所述正交矩阵是通过目标优化函数学习得到的，所述目标优化函数包括第一项与第二项，所述第一项使得所述正交变换可逆，所述第二项使得所述正交变换后的所述第一三维卷积核在时间维度是稀疏的。

3.根据权利要求2所述的方法，其特征在于，所述目标优化函数为：

s.t.S^TS＝I

其中，X表示所述待压缩的三维卷积神经网络的输入数据对应的矩阵，T表示矩阵的转置，F表示所述第一三维卷积核对应的矩阵，Y表示所述待压缩的三维卷积神经网络的输出数据对应的矩阵，所述第一三维卷积核的大小为d²t，d表示所述第一三维卷积核的高度与宽度，t表示所述第一三维卷积核的时间维度，f_i表示t维向量，c表示所述第一三维卷积核的输入通道，S表示所述正交矩阵，λ为常数，表示F范数|| ||_F的平方，|| ||_2,1表示L21范数，

其中，为所述目标优化函数的第一项，为所述目标优化函数的第二项。

4.根据权利要求2所述的方法，其特征在于，所述目标优化函数还包括第三项，所述第三项为所述第一三维卷积核的通道的函数的一范数。

5.根据权利要求4所述的方法，其特征在于，所述目标优化函数为：

s.t.S^TS＝I

其中，X表示所述待压缩的三维卷积神经网络的输入数据对应的矩阵，T表示矩阵的转置，F表示所述第一三维卷积核对应的矩阵，Y表示所述待压缩的三维卷积神经网络的输出数据对应的矩阵，所述第一三维卷积核的大小为d²t，d表示所述第一三维卷积核的高度与宽度，t表示所述第一三维卷积核的时间维度，f_i表示t维向量，c表示所述第一三维卷积核的输入通道，S表示所述正交矩阵，β表示所述第一三维卷积核的通道的函数，γ与λ为常数，表示F范数|| ||_F的平方，|| ||₁表示一范数，|| ||_2,1表示L21范数，

其中，为所述目标优化函数的第一项，为所述目标优化函数的第二项，γ||β||₁为所述目标优化函数的第三项。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据正交变换后的所述第一三维卷积核在时间维度上的稀疏性，对所述第一三维卷积核的时间维度进行剪枝，包括：

根据正交变换后的所述第一三维卷积核的L21范数，获取正交变换后的所述第一三维卷积核在时间维度上的稀疏性；

根据所述稀疏性，对所述第一三维卷积核的时间维度进行剪枝。

7.一种数据处理的方法，其特征在于，包括：

将待处理的三维图像数据输入压缩后的三维卷积神经网络；

利用所述压缩后的三维卷积神经网络对所述三维图像数据进行处理，获得所述三维图像数据的处理结果；

其中，所述压缩后的三维卷积神经网络是进行如下操作得到的：

在待压缩的三维卷积神经网络包括的第一三维卷积核的时间维度上对所述第一三维卷积核进行正交变换；

根据正交变换后的所述第一三维卷积核在时间维度上的稀疏性，对所述第一三维卷积核的时间维度进行剪枝。