[发明专利]基于块项张量分解的深度神经网络压缩方法

摘要

本发明公开了一种基于块项张量分解的深度神经网络压缩方法。其包括获取深度神经网络框架，将权重矩阵W和输入向量x分别转化为高阶张量W和高阶张量X，对高阶张量W进行块项张量分解处理，将深度神经网络的全连接层替换为块项张量层，采用后向传播算法对步骤D中替换后的深度神经网络进行训练。本发明采用块项张量分解方法来构造块项张量层，以替换原始深度神经网络中的全连接层，利用块项张量层具有的“对称”和“指数表达能力”的特性，不仅能够大幅压缩全连接层的参数量还能够保持原网络的分类精度。

主权项

一种基于块项张量分解的深度神经网络压缩方法，其特征在于，包括以下步骤：A、获取深度神经网络框架；B、将深度神经网络的全连接层中的权重矩阵W和输入向量x分别转化为高阶张量W和高阶张量X；C、对步骤B中的高阶张量W进行块项张量分解处理；D、根据步骤B中的高阶张量X和步骤C中块项张量分解后的高阶张量W将深度神经网络的全连接层替换为块项张量层；E、采用后向传播算法对步骤D中替换后的深度神经网络进行训练。