[发明专利]一种基于多模态预训练持续学习的目标检测优化方法

权利要求书

1.一种基于多模态预训练持续学习的目标检测优化方法，其特征在于，包括以下步骤：

S1、提取表征向量：将对图片i进行目标检测所得到的包含目标j的结果输入训练后的表征提取模型，获得目标j的表征向量；表征提取模型的训练时引入文本编码器和教师图像编码器，文本编码器为现有的文本特征提取模型，教师图像编码器为现有的训练后的图像特征提取模型；

S2、计算平均距离：知识库包括正表征库和负表征库；计算目标j的表征向量与正表征库中的每个表征向量的余弦距离，并取最大的前K个计算平均值得到正平均距离d_ij_pos；计算目标j的表征向量与负表征库中的每个表征向量的余弦距离，并取最大的前K个计算平均值得到负平均距离d_ij_neg；K为预设的超参数；

S3、目标检测结果过滤优化：比较 d_ij_pos和d_ij_neg，如果d_ij_posd_ij_neg，则将此目标j的检测结果过滤；如果d_ij_posd_ij_neg，则将此目标j的检测结果保留；

S4、持续学习：对于正表征库的每个表征向量，计算其与正表征库中其它表征向量的余弦距离，并取最大的前K个计算平均值得到此表征向量的平均距离，对正表征库的所有表征向量的平均距离再求平均值得到正库平均距离c_pos；对于负表征库的每个表征向量，计算其与负表征库中其它表征向量的余弦距离，并取最大的前K个计算平均值得到此表征向量的平均距离，对负表征库的所有表征向量的平均距离再求平均值得到负库平均距离c_neg；对每个被保留的目标j, 如果d_ij_posc_pos且 d_ij_negc_neg , 则将此目标j的表征向量纳入正表征库；对每个被过滤的目标j, 如果d_ij_negc_neg 且d_ij_posc_pos ,则将此目标j的表征向量纳入负表征库。

2.根据权利要求1所述的一种基于多模态预训练持续学习的目标检测优化方法，其特征在于，所述表征提取模型包括图像编码器和特征金字塔网络，图像编码器为主干部分，目标检测所得到的包含目标j的结果包括图片i和目标j区域图片；

目标j的表征向量提取过程具体为：

S101、将图片i输入到作为主干部分的图像编码器，抽取每个输出层输出的特征得到图片i的整体多层特征图；

S102、依据目标j区域图片在图片i中的位置，从整体多层特征图中截取得到目标多层特征图；

S103、使用特征金字塔网络对目标多层特征图进行提取池化，得到目标j的表征向量。