[发明专利]一种基于多尺度混合图像风格化的车牌检测场景图片生成方法

说明书

一种基于多尺度混合图像风格化的车牌检测场景图片生成方法，包括：1)收集不同场景下的包含车牌的图片，这里的不同场景包含白天、傍晚、雨天、雪天、阴天和晴天共6个场景；2)划分源域图像和目标域图像，选取难以采集的场景作为目标域，比较容易的场景作为源域；3)对于每一个源‑目标域场景对，将源域划分训练集和测试集，将训练集和具有代表性的目标域图片一起输入给多尺度混合图像风格化模型MSST并进行训练；4)测试阶段，将源域中测试集的图片输入MSST模型生成内容接近源域且场景风格接近目标域的图片。

技术领域

本发明属于计算机视觉领域，针对车牌检测场景中部分特殊场景的数据比较少或难以获取的问题，提出了一种基于多尺度混合图像风格化的车牌检测场景图片生成方法。

背景技术

车牌检测是计算机视觉领域在实际应用上比较成熟的技术之一。随着智能停车项目的广泛普及，车辆的管理与后续的收费环节逐步打通，朝着无感支付的方向快速发展。在这个过程中，高鲁棒性的车牌检测算法是至关重要的，传统的基于人工特征级联的检测算法存在诸多弊端：(1)人工特征鲁棒性差。人工定义的特征主要基于形状，随着应用场景的复杂程度和场景多样性的增加，该类特征的鲁棒性较差；(2)滑窗式的搜索策略耗时大。基于滑窗的方式需要从原始图片中经由遍历给出各个候选区域，因而需要较大的时间开销。

随着计算机视觉和深度学习领域的快速发展，基于大数据学习的检测模型成为一个有效的替代方案。为了提升算法的鲁棒性，该方案需要用大量训练样本对各种场景学习。但是不同场景下的训练样本的获取难度是不同的，比如“晴天”场景的图片比“雨天”更容易获得，这会限制模型对于特殊场景下的车牌检测能力。现有的解决方案主要有两种，一种从数据上通过直接复制少样本场景的图片来扩充训练集，另一种在训练过程中通过对少样本在检测上的误差损失加大权重来鼓励模型特别“注意”这部分样本。这两种方式都没有直接带给模型更多少见场景下的数据。

发明内容

针对车牌检测场景中部分特殊场景的数据比较少或难以获取的现状，本发明提出了一种多尺度混合图像风格化方法，从一部分易获取场景的图片生成难获取场景下的图片。

为实现上述目的，本发明所述的基于多尺度混合图像风格化的车牌检测场景图片生成方法包括如下步骤：

1)采集不同场景下的包含车牌目标的图片，将难以采集的场景的图片归为目标域，将容易采集的场景的图片归为源域。进一步的，将源域的图片数据划分为训练集和测试集，并从目标域中选取具有代表性的图片用于场景风格的迁移；

2)构建多尺度混合图像风格化模型MSST，包括特征编码器、尺度金字塔和尺度解码器三个模块；

3)对于一个源-目标场景对，使用源域的训练集和目标域中的代表图片来训练MSST模型，定义损失函数，利用增量式训练机制和随机梯度下降算法SGD对模型参数进行优化；

4)将源域的测试集中的图片输入给MSST模型，指定不同尺度之间的混合权重，生成内容接近源域但场景风格接近目标域的图片。

进一步，步骤1)所述的不同场景包含白天、傍晚、雨天、雪天、阴天和晴天共6个场景。其中，根据数据采集的难易程度，将白天、阴天和晴天场景归为源域，将傍晚、雨天和雪天场景归为目标域。从两个域中分别选择一种场景即可构成一个源-目标场景对。

进一步，步骤2)所述的特征编码器通过3个卷积层和2个残差block实现，其中3个卷积层卷积核数目分别为16、32、48，步长分别为1、2、2，每个卷积核宽高均为3。每个残差block由两层卷积层构成，每一层包含48个3×3的卷积核，步长为1。特征编码器用于提取基本的与内容相关的语义信息以及与场景类别相关的风格信息。

进一步，步骤2)所述的尺度金字塔包含3个分支，后一个分支通过额外增加权利要求3所述的残差block与前一个分支相连。通过这种方式，层数越深的分支会更倾向于学习尺度更大情况的场景风格，从而实现多尺度的场景风格学习。