[发明专利]一种基于多尺度约束的细粒度车辆图像检索的方法及装置

说明书

本发明公开了一种基于多尺度约束的细粒度车辆图像检索的方法及装置，所述方法包括：对第一训练数据集进行多尺度区域信息标注，得到第二训练数据集；基于改进的包围盒约束算法和海伦约束算法对所述第二训练数据集进行处理，得到第三训练数据集；采用所述第三训练数据集训练细粒度神经网络模型的目标参数的参数值，得到训练之后的细粒度神经网络模型；将待识别车辆图像输入训练好的细粒度神经网络模型进行识别，获得与所述待识别车辆图像同类型的目标车辆图像。本发明相比于现有技术，减少了需预先标注图像类别或选框标注对象位置的工作量，节省成本，提高了效率。

技术领域

本发明涉及图像检索技术领域，具体涉及一种基于多尺度约束的细粒度车辆图像检索的方法、装置、终端设备及计算机可读介质。

背景技术

车辆图像检索是通过输入图像来检索相似图像的一种技术，其主要涉及图像车辆特征提取以及图像车辆特征相似度分析这两大部分。细粒度图像识别是在于寻找图像中存在细微差别的局部区域特征，可以识别一个大类中的不同小类。将细粒度图像识别技术用于车辆图像检索中，可以提取图像细粒度特征并对图像细粒度特征相似性进行分析。

与此同时，随着智能城市的不断推进，城市的道路交通安全越来越受到人们的重视。然而，现有车辆图像检索算法对同类型车识别率不高，信息提取不清晰。

发明内容

有鉴于此，本发明提供了一种基于多尺度约束的细粒度车辆图像检索方法、装置、计算机设备及存储介质，用以解决现有技术对于需要搜索信息的车辆图像定位不准确，信息提取不清晰等问题。

本发明实施例的第一方面提供了一种基于多尺度约束的细粒度车辆图像检索的方法，包括：

对第一训练数据集进行多尺度区域信息标注，得到第二训练数据集；

基于改进的包围盒约束算法和海伦约束算法对所述第二训练数据集进行处理，得到第三训练数据集；

采用所述第三训练数据集训练细粒度神经网络模型的目标参数的参数值，得到训练之后的细粒度神经网络模型；

将待识别车辆图像输入训练好的细粒度神经网络模型进行识别，获得与所述待识别车辆图像同类型的目标车辆图像。

进一步地，在所述对第一训练数据集进行多尺度区域信息标注，得到第二训练数据集步骤之前，所述方法还包括：

构建基于VGG-m或Alex-Net的细粒度神经网络模型，并采用全局平均池化层代替全连接层；

采用ImageNet数据集对所述细粒度神经网络模型进行预训练。

进一步地，所述基于改进的包围盒约束算法和海伦约束算法对所述第二训练数据集进行处理的步骤，包括：

根据所述第二训练数据集图片中多尺度区域互相包含的关系对检测的结果进行包围盒约束算法优化,筛选出图片中包含目标物体和多尺度目标中心的检测框；

采用FASTER-RCNN提取包含物体得分概率分数排序靠前且满足海伦检测约束条件的目标物体和各尺度中心部分检测框。

进一步地，所述采用所述第三训练数据集训练细粒度神经网络模型的目标参数的参数值的步骤，包括：

所述第三训练数据集中的图像输入细粒度神经网络模型，通过所述细粒度神经网络模型模型最后一层激活卷积层提取图像特征后，输出n个二维特征映射，每个特征映射分布式表示有多个激活响应的特征显著性区域；

将所述n个二维特征映射叠加，并设定一个阈值，选取叠加后激活响应高于阈值的区域，得到一个掩映图；

采用双三次插值的方法调整所述掩映图的大小，使其与输入图像同样大小，并将掩映图覆盖到输入图像上；