[发明专利]基于块项张量分解的深度神经网络压缩方法

说明书

本发明公开了一种基于块项张量分解的深度神经网络压缩方法。其包括获取深度神经网络框架，将权重矩阵W和输入向量x分别转化为高阶张量W和高阶张量X，对高阶张量W进行块项张量分解处理，将深度神经网络的全连接层替换为块项张量层，采用后向传播算法对步骤D中替换后的深度神经网络进行训练。本发明采用块项张量分解方法来构造块项张量层，以替换原始深度神经网络中的全连接层，利用块项张量层具有的“对称”和“指数表达能力”的特性，不仅能够大幅压缩全连接层的参数量还能够保持原网络的分类精度。

技术领域

本发明属于深度神经网络技术领域，尤其涉及一种基于块项张量分解的深度神经网络压缩方法。

背景技术

近年来，以深度神经网络为代表的深度学习在图像分类、语音识别、自然语言处理等人工智能领域取得了比传统方法显著提高的效果，进而吸引了学术界、工业界和政府的广泛关注。然而深度神经网络结构复杂、层数较多、参数量巨大，训练好的模型往往占用很大的存储空间，难以移植到小型终端上；并且时间复杂性也很高，即使在高性能图形处理器上训练也常常需要数天，这些都迫使我们需要压缩深度神经网络。

由于深度神经网络的权重实质上就是一些高维矩阵，因此很自然的一种压缩方法就是矩阵分解，但矩阵分解的压缩能力太低，最多只能压缩数十倍。所以最近兴起了利用张量分解压缩的办法，比如“张量火车”分解方法能够把VGG网络中单层全连接层压缩成千上万倍。然而由于张量火车分解方法本身具有“不对称”和“线性表达能力”的特性，导致了压缩后的深度神经网络难以获得更高分类精度。

发明内容

本发明的发明目的是：为了解决现有技术中存在的以上问题，本发明提出了一种基于块项张量分解的深度神经网络压缩方法，以期能够在保持精度的同时获得更高的参数量压缩比。

本发明的技术方案是：一种基于块项张量分解的深度神经网络压缩方法，包括以下步骤：

A、获取深度神经网络框架；

B、将深度神经网络的全连接层中的权重矩阵W和输入向量x分别转化为高阶张量W和高阶张量X；

C、对步骤B中的高阶张量W进行块项张量分解处理；

D、根据步骤B中的高阶张量X和步骤C中块项张量分解后的高阶张量W将深度神经网络的全连接层替换为块项张量层；

E、采用后向传播算法对步骤D中替换后的深度神经网络进行训练。

进一步地，所述步骤B中将深度神经网络的全连接层中的权重矩阵W转化为高阶张量W具体为：将权重矩阵W的行维度和列维度进行均匀分割，表示为层次分块矩阵形式，再将分割后的权重矩阵W转化为高阶张量W。

进一步地，所述步骤B中将深度神经网络的全连接层中的输入向量x转化为高阶张量X具体为：将输入向量x的维度表示为张量形式，再转化为高阶张量X。

进一步地，所述步骤C对步骤B中的高阶张量W进行块项张量分解处理具体为：对高阶张量W的维度进行重新排列，使得行维度和列维度对应的输入和输出以成对形式耦合排列，再将高阶张量W分解为若干个塔克分解的和。