[发明专利]一种基于深度学习的卡口图像车辆快速检索方法及系统

权利要求书

1.一种基于深度学习的卡口图像车辆快速检索方法，其特征在于，包括如下步骤：

(1)基于深度神经网络模型建立图片特征提取网络模型，利用训练样本集训练获得训练完成的特征提取网络模型；其中，特征提取网络模型的训练过程包括：

(1.1)对卡口图片进行人工标注目标区域坐标信息，利用深度学习训练目标识别网络后获取卡口图片中的车辆区域；

(1.2)将每张卡口图片的车辆区域按照车牌进行分类后制作得到车辆训练样本集，并对车辆训练样本集进行优化；

(1.3)采用inception_resnet_v2作为特征提取网络模型提取车辆训练样本集特征，计算三元组损失函数并利用三元组损失函数进行优化训练特征提取网络模型；

(2)基于参考图片集，利用训练完成的特征提取网络模型提取车辆特征向量；

(3)通过K-Means聚类对提取到的车辆特征向量进行反复聚类，以聚类生成的质心建立K叉树索引；

(4)通过训练完成的特征提取网络模型提取待检测图片的特征向量，利用K叉树索引查询检索与待检测图片相似的图片，并输出相似的参考图片集图片。

2.根据权利要求1所述的一种基于深度学习的卡口图像车辆快速检索方法，其特征在于：所述的对训练样本集进行优化包括三种变换优化方式：噪声变换、颜色变换和仿射变换。

3.根据权利要求1所述的一种基于深度学习的卡口图像车辆快速检索方法，其特征在于：所述的步骤(1.3)的步骤如下：

(1.3.1)采用inception_resnet_v2提取车辆训练集特征；

(1.3.2)计算三元组损失函数，具体如下：

筛选三元组样本集：每个三元组数据集包括三个样本，分别为目标样本anchor,正样本pos,负样本neg，其中，anchor和pos为同一类，anchor和neg为不同类，筛选原则为挑选与目标样本相差大的同类样本和与目标样本相差小的不同类样本的组合，学习过程为使得三元组anchor和pos的距离小于anchor和neg的距离，其中，距离均使用余弦距离，如下所示：

cosine_ap+α＜cosine_an

其中，表示目标样本，表示正样本，表示负样本，目标cosine_ap表示目标样本和正样本之间的余弦距离，cosine_an表示目标样本和负样本之间的余弦距离，α为正数，保证正样本与目标样本之间的距离要小于负样本与目标样本之间的距离的一个常数；

在每批中选择三元组样本进行训练，首先计算每批的网络输出，然后保证每批中每辆车有若干张样本图片，并随机加入若干反例；生成三元组样本时找到所有anchor-pos对，并通过计算样本输出编码的欧式距离，针对每个anchor-pos对找出其对应的neg样本，利用所得样本对计算三元组损失；

目标函数为三元组损失函数，如下所示：

其中，分别表示样本经过网络的输出编码；(1.3.3)反复迭代循环训练网络直至损失值不再减小，并将训练完成后的网络模型保存。

4.根据权利要求1所述的一种基于深度学习的卡口图像车辆快速检索方法，其特征在于：所述步骤(3)具体步骤如下：

(3.1)随机选择K个质心点，其中K是预设的；

(3.2)采用余弦相似度计算每个特征向量到K个质心点的距离，将其指派到距离最近的质心，形成K个类别簇；其中余弦相似度计算公式如下所示：

其中，X_i代表特征X中的第i个值，Y_i代表特征Y中的第i个值；

(3.3)计算每个簇的中心点，并将其作为新的质心；

(3.4)循环执行步骤(3.2)与(3.3)，直到所有簇心的余弦相似度和小于II；其中，簇心余弦相似度计算公式如下：

(3.5)判断每个簇最底部子簇的特征总数是否不大于N个，若否，则对特征总数大于N个的簇执行步骤(3.1)到步骤(3,4)，直到每个簇最底部子簇的的特征总数不大于N；否则结束聚类过程，以聚类生成的质心建立K叉树索引。