[发明专利]一种基于信息熵的多模型自适应深度神经网络滤波器嫁接方法、装置、系统及存储介质

说明书

本发明提供了一种基于信息熵的多模型自适应深度神经网络滤波器嫁接方法，包括依次执行以下步骤：步骤一：每个周期内多个模型权值正常迭代更新；步骤二：计算每一层滤波器的信息熵；步骤三：相邻两个网络自适应的加权平均作为新的权值。本发明的有益效果是：1.该方法能够激活模型中的无效滤波器，从而在不改变模型结构的情况下提高模型的准确率；2.该方法提出使用滤波器的信息熵来评价滤波器的质量，相比使用范数能够更加准确地评价滤波器质量，相比计算输出特征图的信息熵需要更少的计算量；3.该方法提出自适应加权平均函数，针对每一层的特点，动态的调节两个模型中滤波器保留的比例，相比给所有层设置统一的系数更加的灵活。

技术领域

本发明涉及人工智能领域，尤其涉及一种基于信息熵的多模型自适应深度神经网络滤波器嫁接方法。

背景技术

深度神经网络的发展十分迅速，在计算机视觉，语音识别，自然语言处理等方面变得流行和高效。在计算机视觉领域，大量的滤波器被使用在神经网络中，滤波器可以用来提取前一层特征矩阵的特征，生成下一层的特征矩阵。实验表明，随着深度神经网络参数量的增大，模型的性能也在提升。因此越来越深的模型被提出。然而，最近的研究表明，深度神经网络中包含大量的无效滤波器。这些无效滤波器并没有对最终结果产生积极作用，因此这些滤波器浪费了大量的计算力。

常用的解决无效滤波器问题的方式是滤波器剪枝技术，剪枝技术将无效滤波器裁减掉，只保留好的滤波器。滤波器剪枝技术通常分为训练、剪枝、调整这三个阶段。在训练阶段，为了获得更加稀疏化的模型，需要在损失函数中添加相应的惩罚项进行结构化稀疏。在剪枝阶段，通过一些指标(例如滤波器的范数)来筛选出无效滤波器，并将这些滤波器从模型中减掉。为了恢复裁剪后模型的性能，在调整阶段，需要将裁剪后的模型重新训练。滤波器剪枝技术主要关注在裁剪阶段如何准确地评价滤波器的好坏，从而确定需要裁剪的位置。另外还有一些方法关注如何更好地裁减掉这些无效的滤波器，而不破坏模型的性能，从而省去调整阶段的计算。

深度神经网络通常会“过参数化”，即使用越来越深的网络，越来越多的参数来对数据进行拟合。但是这样过参数化的结果导致，模型中有很多的滤波器没有得到有效利用。现有的解决无效滤波器的方法都是将这些滤波器直接裁掉，这样得到的新的模型结构已经发生了变化，这给模型的部署增加了困难。改变了模型结构后，想要使用预训练模型会比较困难，此外裁掉这些滤波器后，模型精度也可能会下降。

发明内容

本发明提供了一种基于信息熵的多模型自适应深度神经网络滤波器嫁接方法，包括依次执行以下步骤：

步骤一：每个周期内多个模型权值正常迭代更新；

步骤二：计算每一层滤波器的信息熵；

步骤三：相邻两个网络自适应的加权平均作为新的权值。

作为本发明的进一步改进，假设一共有K个并行训练的模型，每个模型有L层，则模型初始权重训练需要总的周期数T_max，每个周期内的迭代次数N_T；

在所述步骤1中，还包括执行以下步骤：

第1步骤：在每次迭代时，并行的更新每一个模型、每一层的参数第2步骤：经过一个周期N_T次迭代后，对于模型K，将其前一个模型每一层的参数传递给它的每一层。

作为本发明的进一步改进，在所述步骤2中，还包括执行以下步骤：

第3步骤：将模型每一层的权重，离散化为B位，p_b代表每一位出现的频率，则每一层的信息熵为：

第4步骤：使用如下公式比较模型K和模型K-1中无效滤波器数量的相对大小：

其中A和c是固定的超参数，代表第j个模型的第i层的信息熵。