[发明专利]一种基于深度压缩的复数卷积神经网络压缩方法

摘要

本发明公开了一种基于深度压缩算法的复数卷积神经网络压缩的方法，首先通过正常的网络训练学习网络的连通性；然后，对训练过的网络参数进行修剪，将复数参数的模低于一个阈值的连接修剪掉；接着，将修剪过后的稀疏网络进行量化，进一步压缩网络；最后，利用哈夫曼编码对复数参数的实部和虚部进行编码，得到最终的压缩网络。本发明方法利用卷积神经网络中过多的冗余参数，删减掉不重要的连接，并进一步通过量化和哈夫曼编码压缩网络，在很大程度上减少了网络的参数，并且只有很小的精度损失，达到了压缩复数卷积神经网络的目的，解决了复数卷积神经网络由于巨大的参数量无法部署在嵌入式设备上的问题。

主权项

1.一种基于深度压缩的复数卷积神经网络压缩方法，其特征在于：包括以下步骤：1)网络修剪：1.1)训练原始复数卷积神经网络，获得其连通性，得到其原始权值；1.2)修剪小权值连接：首先设定一个阈值，对于复数网络，用复数权值的模与设定的阈值作比较，将权值低于给定阈值的连接都从网络中移除，即将复数权值的实部与虚部均设置为0，得到修剪后的权值；1.3)重新训练网络来学习剩下稀疏网络的最终权值；2)网络量化：对步骤1得到的修剪权值进行量化聚类，具体如下：2.1)设置一个聚类数目K，并初始化簇的质心；2.2)采用二维K均值聚类算法对每一层的权值进行聚类；2.3)重新训练网络来学习量化后的网络的最终权值；3)对量化过后的复数权值的实部和虚部分别进行Huffman编码，得到最终的压缩网络。