[发明专利]基于深度学习的交通目标图像检索方法、装置及可读介质

权利要求书

1.一种基于深度学习的交通目标图像检索方法，其特征在于，包括以下步骤：

S100，采集不同种类交通目标图像，建立各类交通目标图像对应的交通目标标签：

使用one-hot编码方式对交通目标图像标签进行编码，将交通目标图像与对应标签信息构造交通目标图像数据信息底库；将图像数据信息底库划分为训练数据、测试数据、查询数据；其中训练数据中含有每一类的交通目标对应标签信息，测试数据与查询数据不含有交通目标的对应标签信息；

S200，对训练数据进行数据预处理，获取进行数据预处理后的交通目标图片；

S300，设计深度学习模型、模型优化器、数据输入器、损失函数、深度学习模型优化策略；图像检测模型的网络结构使用ResNest网络作为图像特征提取模块；

使用BiFPN融合由ResNest网络中不同模块提取的特征矩阵；

采用随机梯度下降法与三元组损失法构造损失函数优化器；

使用的交叉熵损失法计算不同交通目标之间的类别误差，将批归一化后的特征向量输入到分类层中，分类层使用线性分类器进行分类，其模型接受输入参数大小为Bx2048大小的特征向量，其中B为一个批次输入图片的数量，输出为2048乘上训练数据类别数量；使用SoftMax将线性层输出进行计算，使其多个分类的预测值和为1，再通过交叉熵来计算损失；通过交叉熵损失法计算每种交通目标图片信息的标签损失，记为，

，

其中为训练数据中标签信息，m为交通目标类别标签数目；是对交通目标图片信息的标签进行了SoftMax操作，公式为：

；

使用三元组损失法对交通目标特征图信息细节进行区分，三元组损失法由一个三元组a，p，n构成，需要三张交通目标图片作为输入，其中a:anchor表示交通目标图片对应标签的基准样本，p:positive表示与anchor相同类别但不同的正样本，n:negative表示与基准样本不同类别的负样本；利用生成的每个triplet，就能够创建出对应的正样本a，p和负样本a，n；网络结构在进行训练的时候设置阈值来控制正负样本的距离在一定的距离上，将正样本和负样本分开，先使用一个预设值对网络进行初始化训练，之后再根据测试的结果对预设值的值进行适当的增大或缩小；设样本为x，f(x)为映射函数，整个训练集的大小为N，则每个三元组的输入为、、，、为对应的正、负样本案例，为与相同类别但样本不同的正样本案例，三元组损失法公式为：

；

通过预热学习率与余弦退火结合动态调整学习率；通过预热学习率，即使得学习率逐步上升到设定的学习率，在使用梯度下降算法来优化目标函数的时候，当越来越接近Loss值的全局最小值时，学习率变得更小，从而使得模型接近全局最小值，而余弦退火通过余弦函数来降低学习率；余弦函数中随着x的增加余弦值，首先缓慢下降，然后加速下降，再次缓慢下降；

使用随机权重平均配合SGD损失函数优化器，改进模型训练过程的稳定性，

使用冻结模型法冻结特征提取模型，在训练时固定网络的底层，令固定网络对应子图的参数requires_grad为False；

步骤S400，提取交通目标图像特征；

特征矩阵接收传入的缩放交通目标图像；卷积神经网络先使用卷积层对输入的交通目标图像进行下采样，将特征图输入到一个批归一化层，一个RELU激活层与一个最大值池化层，得到特征图；

对不同像素的特征图进行卷积；

步骤S500，将交通目标图像特征与图像数据库进行距离判定，并进行后处理得到输出结果，完成匹配；

使用重排序法和查询扩展法对计算出的特征距离结果进行后处理，其中重排序的方法，对每一个P值对应的Top-10查询结果相似，则视为匹配，即给定图像，通过将k个倒数相邻的目标编码为单个向量来计算k-reciprocal特征，使用原始距离与杰卡德距离组合来作为衡量两个集合相似度指标，并按照相似度进行重排序。

2.根据权利要求1所述的基于深度学习的交通目标图像检索方法，其特征在于，预处理即对图像重新调整分辨率，包括对图像进行一种或多种图像随机变换，其中图像变换有图像剪裁改变X轴、Y轴角度，提高/降低图像清晰度、明亮度、曝光度、图像饱和度，改变图像颜色、色调，旋转、翻转图像，图像像素平均化，自动对比度调整。