[发明专利]一种面向遥感应用的卷积神经网络剪枝和量化同步压缩方法

说明书

本发明提供了一种面向遥感应用的卷积神经网络剪枝和量化同步压缩方法，与其他的卷积神经网络剪枝和量化压缩方法相比，本方法融合了模型剪枝和量化过程，实现了卷积神经网络模型的同步剪枝和量化，在提高模型参数压缩比例的同时，减少了模型压缩后的精度损失；对剪枝和量化后的模型进行再训练，可以得到更为精确的参数数值，提高网络精度；设定编码时需要遵守的规则度约束条件，即在实际的遥感平台处理器中对卷积神经网络模型进行实现时，对同一层中的不同滤波器处于相同位置的卷积核同时剪枝可以提高计算单元的通用程度，并提高计算的并行度；本发明压缩后的模型可以在机载、星载等资源有限的平台处理器上进行移植和应用。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种面向遥感应用的卷积神经网络压缩方法。

背景技术

随着各种卷积神经网络模型在遥感数据处理领域的广泛应用，将卷积神经网络模型移植到机载、星载、车载等移动平台上的需求也越来越强烈。在这些资源约束严格的平台上应用时，由于可选的专用器件资源有限，且需通过多模冗余等方式保障可靠性等原因，能够用于实现卷积神经网络模型的资源十分有限。高性能的卷积神经网络往往具有海量的参数数量和浮点计算次数，难以在这些资源有限的平台上进行应用，需要进行剪枝、量化等一系列的参数压缩工作。然而当前的卷积神经网络剪枝和量化压缩方法还存在压缩后模型精度损失大的问题。剪枝和量化过程均会影响模型精度，两步压缩后精度损失会叠加。先剪枝再量化会导致模型精度损失大。

发明内容

有鉴于此，本发明的目的是提供一种面向遥感应用的卷积神经网络压缩方法，提高了模型参数压缩比例的同时，保证了压缩后模型的精度。

一种面向遥感应用的卷积神经网络剪枝和量化同步压缩方法，包括如下步骤：

S1、采用包含遥感图像的数据对卷积神经网络进行参数训练，得到模型M2；

S2、对所述模型M2进行剪枝和量化参数的编码，具体如下：

对卷积神经网络中的各层的参数，定义其编码为：

O_k＝(p₁,p₂,...,p_n,q₁,q₂,...,q_n)

其中，n表示网络中各层的参数数量；p₁,p₂,...,p_n表示对各参数是否剪枝，取值为0或1， 0表示是对该参数进行剪枝，1表示保留该参数，不进行剪枝；q₁,q₂,...,q_n表示对各参数的量化位数；

S3、按照步骤S2的编码，生成设定数量的初始的种群，每个种群中包含若干个体；

S4、根据步骤S3的种群中每个个体的编码对模型M2中的参数剪枝和量化进行设置，由此得到与个体数量对应的模型，采用遥感图像数据对模型的参数数值进行训练，得到参数训练后的模型；

S5、对参数训练后得到的模型进行精度评估，将每个种群中精度最差的部分个体进行剔除，并对剩余个体的编码进行随机改变，对个体间的编码进行交叉和/或迁移，生成新的个体和种群；

S6、重复执行步骤S5，直到满足设定条件，停止对模型参数的训练；

其中，在训练的过程中，当前训练使用的模型参数数值为上一次训练的参数数值；

S7、对S6得到的模型进行精度评估，保留精度最高的部分个体，则完成卷积神经网络的剪枝和量化。

进一步的，对S7精度最高的部分个体进行重新训练，具体为：

首先，按照S7剪枝结果构建浮点参数的卷积神经网络模型，采用训练数据对该网络模型参数进行训练；