[发明专利]一种基于自动扩增样本的车型识别方法及系统

权利要求书

1.一种基于自动扩增样本的车型识别方法，其特征在于，包括以下步骤：

S1：车辆图像的预处理与标注：车辆图像归一化处理，人工标注，得到标注的图像；

S2：训练生成新的车辆图像：将S1中标注的车辆图像及其包含的标签信息，和随机噪声一起作为样本生成网络的输入，训练样本生成网络中的生成网络和判别网络，利用训练好的生成网络生成新的车辆图像，即为生成样本；

S3：对生成样本进行自动标注：利用原始车辆图像初步训练车型识别网络，将生成样本输入初步训练好的车型识别网络中，对生成样本重新进行标定，形成标签信息；

S4：训练车型识别网络：将获得的生成样本作为原图像的扩充数据，将已标注的原图像、生成样本图像和图像对应的标签信息作为车型识别网络的输入，并对车型识别网络进行训练；

S5：训练车辆检测网络：基于S1中标注后的车辆图像初步训练车辆检测网络，将图像分块，若块中心在标注的包围框中，则回归预测包围框大小和位置，并且预测回归的包围框里面的物体是车的置信度，使用非极大值抑制算法确定最终包围框的大小和位置；

S6：在线车型识别系统的部署：将训练好的车辆检测网络和车型识别网络部署到服务器上，对新的车辆图像进行在线识别。

2.根据权利要求1所述的一种基于自动扩增样本的车型识别方法，其特征在于，所述步骤S1中，将图像大小进行归一化，然后对图像进行镜像操作、均值化、中心化和随机翻转以增加图像数量，将单通道图像改为三通道图像；需要标定的数据有：车辆的类别信息、车辆在图中的坐标位置。

3.根据权利要求1所述的一种基于自动扩增样本的车型识别方法，其特征在于，所述步骤S2中，样本生成网络采用生成对抗网络技术，由前半部分的生成网络和后半部分的判别网络组成。

4.根据权利要求3所述的一种基于自动扩增样本的车型识别方法，其特征在于，所述样本生成网络由基本的卷积层、全连接层、自注意力层和采样层组成。

5.根据权利要求4所述的一种基于自动扩增样本的车型识别方法，其特征在于，所述生成网络中，采样层的结构为“卷积+上采样+卷积”，上采样方法为最近邻法；所述判别网络中，采样层的结构为“卷积+下采样+卷积”，下采样方法为均值池化法。

6.根据权利要求4所述的一种基于自动扩增样本的车型识别方法，其特征在于，所述自注意力层由三个卷积层组成，假设自注意力层接收到的数据为输出的自注意力层为则对于第j通道的第i位置的自注意力权重为

式中，N的大小为自注意力层输入特征图的宽和高的乘积，C₁、C₂为通道数，C₂＝C₁/8，W_Q和W_K分别为可学习的矩阵参数，d为输入距离参数；

基于自注意力权重，计算最终输出，为：

式中，b_j为正则项参数，W_V是可学习的矩阵参数，

将原数据X加上加权后的注意力层的数据作为注意力层最终的输出，则：

Y＝λY+X，

式中：参数λ的值随训练批次从0线性增长到1。

7.根据权利要求4所述的一种基于自动扩增样本的车型识别方法，其特征在于，所述生成网络的输入为噪声和车辆图像标签，输出为生成图像，判别网络的输入为生成图像、原始图像和图像对应标签。

8.一种实现权利要求1所述方法的车型识别系统，其特征在于，包括以下模块：

车辆图像预处理和标注模块，用于车辆图像归一化处理，人工标注，得到标注的车辆图像，即为原始车辆图像；

车辆检测模块，以车辆图像预处理和标注模块中标注的原始车辆图像为训练集，进行车辆检测模块的训练；在进行车型识别之前，先利用车辆检测模块进行车辆的检测；

样本生成模块，将原始车辆图像和标签作为样本生成网络的输入，训练样本生成网络中的生成网络和判别网络，利用训练好的生成网络生成新的车辆图像，得到生成样本，送入生成样本自动标注模块；

生成样本自动标注模块，接收样本生成模块的生成样本，利用原始车辆图像初步训练车型识别网络，将生成样本输入初步训练好的车型识别网络中，对生成样本重新进行标注，形成标签信息；

车型识别模块，接收生成样本自动标注模块标注的生成样本，将生成样本作为原图像的扩充数据，将已标注的原图像、生成图像和图像对应的标签信息作为车型识别网络的输入，对车型识别网络进行训练，接受车辆检测模块中检测出的车辆，进行其车型的自动识别。