[发明专利]一种基于多模型融合的特征蒸馏方法、系统、设备和介质

权利要求书

1.一种基于多模型融合的特征蒸馏方法，其特征在于，包括：

通过预训练的多个教师模型分别获取目标数据的特征作为第一特征；

通过学生模型的主干网络获取所述目标数据的第二特征，将所述第二特征分别输入多个第一蒸馏子网络，通过每个所述第一蒸馏子网络分别输出与所述第一特征相似度达到设定阈值的第二特征；

将所有所述第一特征进行融合得到第一融合特征，并将各所述蒸馏子网络输出的第二特征进行融合得到第二融合特征，将所述第一融合特征和第二融合特征输入第二蒸馏子网络，获取所述目标数据的蒸馏特征。

2.根据权利要求1所述的基于多模型融合的特征蒸馏方法，其特征在于，所述第一蒸馏子网络包括：注意力模块、归一化层、相似计算层以及至少一个全连接层；

注意力模块根据所述全连接层输出特征的特征值大小获取对应特征的权重输出至所述归一化层；

所述归一化层根据所述全连接层输出特征以及所述注意力模块输出权重完成对应特征归一化；

所述相似计算层通过预设的损失函数获取归一化后的特征与对应教师模型输出的第一特征之间的相似度。

3.根据权利要求2所述的基于多模型融合的特征蒸馏方法，其特征在于，所述注意力模块通过映射函数将特征值映射到-1至1之间。

4.根据权利要求3所述的基于多模型融合的特征蒸馏方法，其特征在于，所述映射函数包括：softmax函数、sigmoid函数。

5.根据权利要求1所述的基于多模型融合的特征蒸馏方法，其特征在于，所述第二蒸馏子网络与所述第一蒸馏子网络采用相同的网络结构。

6.根据权利要求1所述的基于多模型融合的特征蒸馏方法，其特征在于，将所述第一融合特征和第二融合特征输入第二蒸馏子网络之前，还包括：

对所述第一融合特征采用降维算法进行降维处理。

7.根据权利要求1所述的基于多模型融合的特征蒸馏方法，其特征在于，所述第一蒸馏子网络的数量与所述教师模型的数量相对应，且每个第一蒸馏子网络分别接收一个所述教师模型的第一特征。

8.一种基于多模型融合的特征蒸馏系统，其特征在于，包括：

第一特征获取模块，用于通过预训练的多个教师模型分别获取目标数据的特征作为第一特征；

学生特征获取模块，用于通过学生模型的主干网络获取所述目标数据的第二特征，将所述第二特征分别输入多个第一蒸馏子网络，通过每个所述第一蒸馏子网络分别输出与所述第一特征相似度达到设定阈值的第二特征；

融合蒸馏模块，用于将所有所述第一特征进行融合得到第一融合特征，并将各所述蒸馏子网络输出的第二特征进行融合得到第二融合特征，将所述第一融合特征和第二融合特征输入第二蒸馏子网络，获取所述目标数据的蒸馏特征。

9.一种设备，其特征在于，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-7中一个或多个所述的方法。

10.一种机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-7中一个或多个所述的方法。