[发明专利]一种基于多模态预训练持续学习的目标检测优化方法

说明书

本发明公开了一种基于多模态预训练持续学习的目标检测优化方法，其包括以下步骤：S1、提取表征向量；S2、计算平均距离；S3、目标检测结果过滤优化；S4、持续学习。本方案可以对目标检测结果进行优化，从而达到在不需要更新上游大模型的基础上，以极低的成本提升预训练大模型在目标识别的精准度，节省模型重新训练迭代的成本，消除基础模型的频繁更新对下游任务造成的影响。本方案适用于计算机视觉领域。

技术领域

本发明涉及图像识别领域，尤其是涉及一种基于多模态预训练持续学习的目标检测优化方法。

背景技术

近年来，目标检测模型已经在各个领域得到广泛应用。然而，大部分目标检测模型都遵循数据收集-模型训练评估-模型部署上线的流程。一般情况下，模型在部署上线之后不会继续更新，对线上发生的误报及对目标检测结果需要优化的情况，只能通过重新训练的方式优化模型。在这样的背景下，频繁训练或微调模型，以及后续的模型评估上线会带来巨大的迭代成本，如果能够在检测完成后对结果进行优化，就不需要频繁调整或训练上游模型，可以低成本提升结果准确度。

发明内容

本发明主要是解决现有技术所存在的目标检测结果缺乏有效准确的优化手段的技术问题，提供一种基于多模态预训练持续学习的目标检测优化方法。

本发明针对上述技术问题主要是通过下述技术方案得以解决的：一种基于多模态预训练持续学习的目标检测优化方法，包括以下步骤：

S1、提取表征向量：将对图片i进行目标检测所得到的包含目标j的结果输入训练后的表征提取模型，获得目标j的表征向量；目标检测得到的结果可以包含若干个目标，j是其中之一，一轮只处理一个目标；

S2、计算平均距离：知识库包括正表征库和负表征库；计算目标j的表征向量与正表征库中的每个表征向量的余弦距离，并取最大的前K个计算平均值得到正平均距离d_ij_pos；计算目标j的表征向量与负表征库中的每个表征向量的余弦距离，并取最大的前K个计算平均值得到负平均距离d_ij_neg；K为预设的超参数；

S3、目标检测结果过滤优化：比较d_ij_pos和d_ij_neg，如果d_ij_posd_ij_neg，则将此目标j的检测结果过滤；如果d_ij_posd_ij_neg，则将此目标j的检测结果保留；

S4、持续学习：对于正表征库的每个表征向量，计算其与正表征库中其它表征向量的余弦距离，并取最大的前K个计算平均值得到此表征向量的平均距离，对正表征库的所有表征向量的平均距离再求平均值得到正库平均距离c_pos；对于负表征库的每个表征向量，计算其与负表征库中其它表征向量的余弦距离，并取最大的前K个计算平均值得到此表征向量的平均距离，对负表征库的所有表征向量的平均距离再求平均值得到负库平均距离c_neg；对每个被保留的目标j, 如果d_ij_posc_pos且 d_ij_negc_neg , 则将此目标j的表征向量纳入正表征库；对每个被过滤的目标j, 如果d_ij_negc_neg 且d_ij_posc_pos, 则将此目标j的表征向量纳入负表征库。

通过持续学习，可以不断更新知识库，从而不断提升目标检测结果优化的准确度。

作为优选，所述表征提取模型包括图像编码器和特征金字塔网络（FPN），图像编码器为主干部分；图像编码器为任意的基于图像的神经网络模型，例如resnet、 convnext、vision transformer等；目标检测所得到的包含目标j的结果包括图片i和目标j区域图片；图片i一般为3个颜色通道的自然图像；目标j区域图片理解为从图片i中截取的目标j所在区域的图像，具体形式可以是若干个坐标围成的范围；

目标j的表征向量提取过程具体为：

S101、将图片i输入到作为主干部分的图像编码器，抽取每个输出层输出的特征得到图片i的整体多层特征图；

S102、依据目标j区域图片在图片i中的位置，从整体多层特征图中截取得到目标多层特征图；