[发明专利]基于维度自适应的Tucker分解的深度网络压缩方法

摘要

本发明公布了一种基于维度自适应调整的Tucker分解的深度网络压缩方法，包括维度自适应调整过程和维度适应的权重张量分解过程，通过适应调整张量各维度的大小，生成一个新的任意阶张量，再通过可学习的核张量和转移矩阵去实现张量分解，由此达到网络优化压缩的目的。相比于现有的低秩压缩方法，本发明在保持网络性能的情况下，网络参数量有更大的压缩倍数，能获得更高的压缩倍数；同时，不需要存储非零元素的指引位置，不需要记录索引，可以更有效的利用存储空间。

主权项

一种基于维度自适应调整的Tucker分解的深度网络压缩方法，针对深度网络的权重，通过适应调整张量各维度的大小，生成新的任意阶张量，再通过核张量和变换矩阵实现张量分解，达到在网络性能损失小的前提下实现深度网络的高倍数压缩；包括维度自适应调整过程和维度适应的权重张量分解过程：1)深度网络全连接层权重其中s和t分别表示输入单元个数和输出单元个数，是dw维的权重张量，每个维度的大小分别是通过维度自适应调整过程，针对深度神经网络的每一层权重张量进行维度变换(reshape)操作，获得深度神经网络维度适应的权重张量2)维度适应的权重张量分解过程，即对神经网络利用新的前向传播和反向传播过程进行张量分解和张量融合；具体执行如下操作：21)由深度神经网络每层的核张量和对应的变换矩阵M通过Tucker分解的逆运算，得到维度适应的权重张量对维度适应的权重张量进行维度变换(reshape)的逆变换操作，得到原始网络的权重张量22)利用进行前向传播，通过式1重构深度神经网络每层的乘法个数随着层的核张量改变：其中，其中表示核张量，k表示核张量的各维度大小，参数可学习；在训练过程中，首先经过对的mode乘法得到再通过调整维度大小得到由此重构23)根据损失函数值L，采用反向传播算法求得核张量和变换矩阵对应的梯度，再利用现有的优化算法更新核张量和变换矩阵；包括如下操作：231)通过推导得到新的反向传播算法，利用该反向传播算法得到每层的核张量和变换矩阵M的梯度；利用式3和式4得到变换矩阵和核张量的梯度：其中，为损失函数对第i个变换矩阵的Mi梯度；为损失函数对共享的核张量的梯度；表示为损失函数对某一层的核张量的梯度；232)再利用优化算法更新每层的核张量和变换矩阵M；3)重复步骤2)，直到网络收敛到设置的损失函数值，由此达到深度网络压缩的目的。