[发明专利]基于维度自适应的Tucker分解的深度网络压缩方法

权利要求书

1.一种基于维度自适应调整的Tucker分解的深度网络压缩的图像处理方法，利用深度网络对图像数据进行压缩处理，针对深度网络的权重，通过适应调整张量各维度的大小，生成新的任意阶张量，再通过核张量和变换矩阵实现张量分解，达到在网络性能损失小的前提下实现深度网络的高倍数压缩；包括维度自适应调整过程和维度适应的权重张量分解过程：

1)深度网络卷积层权重为四维张量其中h表示卷积核的高度，w表示卷积核的宽度，s和t表示输入的通道和输出的通道数；深度网络全连接层权重为二维张量其中s和t分别表示输入单元个数和输出单元个数；包括每一层权重张量，第i层的权重张量记为是d_w维的权重张量，每个维度的大小分别是通过维度自适应调整过程，针对深度神经网络的每一层权重张量进行维度变换操作，获得深度神经网络维度适应的权重张量

2)维度适应的权重张量分解过程，即对神经网络利用新的前向传播和反向传播过程进行张量分解和张量融合；具体执行如下操作：

21)由深度神经网络每层的核张量和对应的变换矩阵M通过Tucker分解的逆运算，得到维度适应的权重张量对维度适应的权重张量进行维度变换操作的逆变换操作，得到原始网络的权重张量

22)利用进行前向传播：首先通过式1对的mode乘法得到再调整维度大小重构然后利用进行前向传播；深度神经网络每层的乘法个数随着层的核张量改变：

其中，其中表示核张量，k表示核张量的各维度大小，参数可学习；在训练过程中，首先经过对的mode乘法得到再通过调整维度大小得到由此重构

23)根据损失函数值L，采用反向传播算法求得核张量和变换矩阵对应的梯度，再利用现有的优化算法更新核张量和变换矩阵；包括如下操作：

231)通过推导得到新的反向传播算法，利用该反向传播算法得到每层的核张量和变换矩阵M的梯度；利用式3和式4得到变换矩阵和核张量的梯度：

其中，为损失函数对第i个变换矩阵的M_i梯度；为损失函数对共享的核张量的梯度；表示为损失函数对某一层的核张量的梯度；

232)再利用优化算法更新每层的核张量和变换矩阵M；

3)重复步骤2)，直到网络收敛到设置的损失函数值，由此达到深度网络压缩的目的。

2.如权利要求1所述深度网络压缩的图像处理方法，其特征是，维度变换操作包括阶数相同的形式和阶数不同的形式，使得张量的每个维度大小分布较为平衡，从而得到维度适应的权重张量。

3.如权利要求1所述深度网络压缩的图像处理方法，其特征是，优选地，当每层的核张量共享同一个核张量时，称为共享的维度适应性调整Tucker分解压缩方法；此时，步骤231)利用式3、式4和式6得到变换矩阵和核张量的梯度：

其中，为损失函数对共享的核张量的梯度；表示为损失函数对某一层的核张量的梯度。

4.如权利要求1所述深度网络压缩的图像处理方法，其特征是，步骤232)所述优化算法为SGD优化算法或ADAM优化算法。