[发明专利]一种多模型合并压缩方法

权利要求书

1.一种多模型合并压缩方法，包括如下步骤：

步骤S1：对每个模型分别进行独立训练和压缩；

步骤S2：分离每个模型的底层与高层；

步骤S3：通过映射层连接底层和高层；

步骤S4：训练映射层；

步骤S5：训练完毕后，对训练好的新模型进行评估，选择最优结果。

2.根据权利要求1所述的一种多模型合并压缩方法，还包括如下步骤：

步骤S6：将最优结果部署在最终产品上。

3.根据权利要求2所述的一种多模型合并压缩方法，其中，对每个模型分别进行独立训练和压缩，训练和压缩的结果作为多模型合并压缩的输入。

4.根据权利要求3所述的一种多模型合并压缩方法，其中，每个模型均采用ResNet-18作为网络的骨干。

5.根据权利要求4所述的一种多模型合并压缩方法，其中，在所述步骤S2中，分别将每个模型的底层L和高层H剥离出来，所述底层是前五层卷积层。

6.根据权利要求5所述的一种多模型合并压缩方法，其中，在所述步骤S3中，分别用额外的卷积层作为各模型的映射层M，并将底层L、映射层M和高层H分别对应组合。

7.根据权利要求6所述的一种多模型合并压缩方法，其中，在所述步骤S4中，在每个模型原本任务上训练所述步骤S3所构造出的新网络，训练时，冻结底层L和高层H，只训练映射层M。

8.根据权利要求7所述的一种多模型合并压缩方法，其中，在所述步骤S4中，训练映射层M时，对映射层的权重多次初始化进行训练，以便用于步骤S5的评估和最终挑选。

9.根据权利要求8所述的一种多模型合并压缩方法，其中，在所述步骤S5中，待所述S4步骤训练完毕后，分别将每个模型的底层作为公共底层新网络的底层，并且与对应原网络比较，选择最优结果，将最优结果对应的该模型底层作为融合模型的共同底层。

10.根据权利要求9所述的一种多模型合并压缩方法，其中，在所述步骤S1中，模型的数量是3个，对每个模型分别进行独立训练和压缩，训练和压缩的结果作为多模型合并压缩的输入。

11.根据权利要求10所述的一种多模型合并压缩方法，其中，在所述步骤S2中，分别将3个模型的底层和高层剥离出来，底层分别称为La、Lb和Lc，高层分别称为Ha、Hb和Hc，所述底层是前五层卷积层。

12.根据权利要求11所述的一种多模型合并压缩方法，其中，在所述步骤S3中，分别用额外的卷积层作为各模型的映射层，分别称为Ma、Mb和Mc，将底层L、映射层M和高层H分别对应组合，选择一个共同底层La，Ha是本身对应的高层，故不需要映射层；Hb和Hc与底层La不对应，则分别加上映射层连接，得到La-Mb-Hb和La-Mc-Hc两个新网络；同样，当Lb或Lc作为公共底层时，相应构造对应的新网络。

13.根据权利要求12所述的一种多模型合并压缩方法，在步骤S5中，评估映射层的性能，包括如下步骤：

步骤S51,在3个模型对应的3个任务中任一个任务的测试数据集上，分别用k个训练好的映射层进行前向推理和评估，其中，K1,以检测任务为例的话，评价指标一般为mIOU，评价指标得分最高的映射层M*则自然作为本网络的映射层；

步骤S52,同样的操作挑选出剩余网络表现最好的映射层；

步骤S53,最终部署方案会在三个选择中产生，它们分别是:

La为底层时，La-Ha、La-Mb*-Hb和La-Mc*-Hc；

Lb为底层时，Lb-Ma*-Ha、Lb-Hb和Lb-Mc*-Hc；

Lc为底层时，Lc-Ma*-Ha、Lc-Mb*-Hb和Lc-Hc；

在三个选择中根据实际推理表现，选择最接近融合前网络整体性能的方案，再部署在最终产品上。