[发明专利]一种面向遥感应用的卷积神经网络剪枝和量化同步压缩方法

权利要求书

1.一种面向遥感应用的卷积神经网络剪枝和量化同步压缩方法，其特征在于，包括如下步骤：

S1、采用包含遥感图像的数据对卷积神经网络进行参数训练，得到模型M2；

S2、对所述模型M2进行剪枝和量化参数的编码，具体如下：

对卷积神经网络中的各层的参数，定义其编码为：

O_k＝(p₁,p₂,...,p_n,q₁,q₂,...,q_n)

其中，n表示网络中各层的参数数量；p₁,p₂,...,p_n表示对各参数是否剪枝，取值为0或1，0表示是对该参数进行剪枝，1表示保留该参数，不进行剪枝；q₁,q₂,...,q_n表示对各参数的量化位数；编码时符合规则度约束条件：当约束仅对卷积神经网络的滤波器级别剪枝时，同一滤波器中的参数需要相同的剪枝编码；当约束仅对卷积核级别剪枝时，同一卷积核中的所有参数需要相同的剪枝编码；

S3、按照步骤S2的编码，生成设定数量的初始的种群，每个种群中包含若干个体；

S4、根据步骤S3的种群中每个个体的编码对模型M2中的参数剪枝和量化进行设置，由此得到与个体数量对应的模型，采用遥感图像数据对模型的参数数值进行训练，得到参数训练后的模型；

S5、对参数训练后得到的模型进行精度评估，将每个种群中精度最差的部分个体进行剔除，并对剩余个体的编码进行随机改变，对个体间的编码进行交叉和/或迁移，生成新的个体和种群；

S6、重复执行步骤S5，直到满足设定条件，停止对模型参数的训练；

其中，在训练的过程中，当前训练使用的模型参数数值为上一次训练的参数数值；

S7、对S6得到的模型进行精度评估，保留精度最高的部分个体，则完成卷积神经网络的剪枝和量化。

2.如权利要求1所述的一种面向遥感应用的卷积神经网络剪枝和量化同步压缩方法，其特征在于，对S7精度最高的部分个体进行重新训练，具体为：

首先，按照S7剪枝结果构建浮点参数的卷积神经网络模型，采用训练数据对该网络模型参数进行训练；

然后，在该剪枝后模型参数的基础上，依次对模型的每一层的量化参数进行训练，具体为：根据S7对参数量化结果，对网络模型的第一层的参数进行量化，网络模型其他各层为浮点参数，在剪枝后模型参数的基础上，对整个卷积神经网络进行训练，完成后，固定第一层的量化后参数，根据S7的结果对第二层的参数进行量化，第三层及以后各层保持为浮点参数，再对网络进行训练，依次类推，直到网络最后一层，完成模型参数的最终训练。

3.如权利要求1或2所述的一种面向遥感应用的卷积神经网络剪枝和量化同步压缩方法，其特征在于，S3中，生成初始种群及个体的方法为：

在满足参数压缩率的条件下，随机对网络每一层的编码O_k＝(p₁,p₂,...,p_n,q₁,q₂,...,q_n)中元素的值进行赋值；

或者，采用已有的剪枝和量化算法得到剪枝或量化后的模型结构，依照其结构对初始种群中个体的编码进行赋值，得到个体。

4.如权利要求1或2所述的一种面向遥感应用的卷积神经网络剪枝和量化同步压缩方法，其特征在于，S6中所述设定条件为：当任何一个个体的精度、参数量和计算量均到达规定阈值或到达预定的训练次数后停止训练。

5.如权利要求1或2所述的一种面向遥感应用的卷积神经网络剪枝和量化同步压缩方法，其特征在于，在对模型参数进行训练时，每个模型的训练周期数相同，在满足可以对模型性能进行区分的条件下，训练采取最少的次数。

6.如权利要求1或2所述的一种面向遥感应用的卷积神经网络剪枝和量化同步压缩方法，其特征在于，S5中对模型精度进行评估时，当各模型精度一致时，剔除模型参数量大的个体。