[发明专利]一种神经网络解耦方法

权利要求书

1.一种神经网络解耦方法，其特征在于包括如下步骤：

步骤1，对于神经网络的每个卷积层，根据该卷积层中各个滤波器的重要性选取参与计算的滤波器；

步骤2，基于互信息损失函数、KL-散度损失函数和稀疏损失函数对步骤1得到的神经网络进行训练。

2.如权利要求1所述的一种神经网络解耦方法，其特征在于：所述步骤1中，选取某个卷积层中参与计算的滤波器的方法是，对该卷积层的输入X进行全局池化，得到其对应映射的一维特征s，然后利用两个全连接层计算输入通道之间的关联性，并进行二值化处理以表征各个滤波器的重要性。

3.如权利要求2所述的一种神经网络解耦方法，其特征在于：所述步骤1中，利用两个全连接层计算输入通道之间的关联性，基于下式计算：

其中，l表示第l层卷积层，W₁、W₂表示两个全连接层之间的权重；(*)₊表示非线性变换层。

4.如权利要求3所述的一种神经网络解耦方法，其特征在于：所述步骤1中，采用SemHash进行二值化处理，训练过程是：首先添加一个随机噪声α：

其中，α采用sigmoid函数；

计算如下向量：

其中，偏移sigmoid公式是：

σ'(x)＝max(0,min(1,1.2σ(x)-0.1))

在训练中，对一半的样本采用v₁，对另外一半的样本采用v₂，然后反向计算梯度时，均采用v₁的梯度来进行计算。

5.如权利要求3所述的一种神经网络解耦方法，其特征在于：所述步骤1中，在测试时，使用sign来处理输入，得到二值数值：

6.如权利要求1所述的一种神经网络解耦方法，其特征在于：所述步骤2中，训练过程中的总体损失函数如下：

其中，表示神经网络本身的损失函数；表示互信息损失函数，λ_m表示互信息损失函数的权重；表示KL-散度损失函数，λ_k表示KL-散度损失函数的权重；表示稀疏损失函数，λ_s表示稀疏损失函数的权重。

7.如权利要求6所述的一种神经网络解耦方法，其特征在于：所述互信息损失函数的表达式如下：

其中，z^l表示结构编码，A_X表示图片X的属性，L指神经网络总层数，指将z^l转换为与类别数量相同维度的一层全连接层。

8.如权利要求6所述的一种神经网络解耦方法，其特征在于：所述KL-散度损失函数的表达式如下：

其中，y^l表示经过全局池化的当前卷积层的输出，z^l表示结构编码，KL代表KL散度，L表示神经网络总层数。

9.如权利要求6所述的一种神经网络解耦方法，其特征在于：所述稀疏损失函数的表达式如下：

其中，R表示压缩率，N^l表示当前卷积层的滤波器数量，z^l表示结构编码，L表示神经网络总层数。