[发明专利]基于CycleGAN网络模型的车牌样本生成方法及系统

说明书

本发明提供了一种基于CycleGAN网络模型的车牌样本生成方法及系统，包括：将成对的合成车牌图片和真实车牌图片分别输入至生成网络A和生成网络B；生成网络A输出伪真实车牌图片，并和真实车牌图片成对地输入判别网络B，输出判别结果反馈到生成网络A；生成网络B输出伪合成车牌图片并和合成车牌图片成对地输入判别网络A，输出判别结果反馈到生成网络B；判别网络A、判别网络B分别根据成对的伪车牌图片和车牌图片进行训练，从而更新判别网络的权重；生成网络A、生成网络B分别根据判别网络A、判别网络B的反馈结果进行训练，从而更新生成网络的权重，重复上述步骤直至权重满足预设值。本发明极大地提升合成车牌图片的效果和质量。

技术领域

本发明涉及计算机视觉的OCR领域和图像生成技术领域，具体地，涉及一种基于CycleGAN网络模型的车牌样本生成方法及系统。

背景技术

随着经济社会的高速发展，机动车辆的数目也在不断增加。实现对车辆身份自动识别，能够提高车辆的管理效率、降低人力成本。因此，车牌识别技术成为近几年研究的热点。目前常见的车牌识别技术可分为基于字符分割的识别技术和基于端到端网络的识别技术。基于字符分割的识别技术，即将车牌内容分割成多个单一的字符，随后逐个对这些字符进行识别，最后根据识别结果依次组合为车牌号码。这种方法的优点是不需要收集大量的车牌标注样本，缺点是损失了车牌的语义信息导致鲁棒性较差，且处理时延高；基于端到端网络的识别技术优点在于鲁棒性好、准确率高、处理速度快，缺点是需要收集大量的车牌标注样本用于训练。

然而，为了获取满足训练要求的车牌标注数据，需要耗费大量的时间、资金和人力进行收集和标注工作。首先，车牌的种类繁多，包含小型车牌、大型车牌、大型双层车牌、新能源车牌、警牌、军牌、双层军牌等，相对罕见的车牌增加了样本收集工作的难度；其次，各省市的车牌内容也存在差异，需要对每个地区进行同样的重复收集；重要的是，在一些过暗、过曝、倾斜角度大、运动模糊、分辨率低、存在遮挡以及极端天气等复杂场景下，收集工作存在更高的难度；最后，收集好的车牌标注数据会存在隐私、法律等问题。

为了减少成本，得到足够多的车牌标注数据，在早期工作中，会使用计算机图像技术，按照车牌的颜色、字体和字符内容等规则人工合成车牌图片。在合成过程中，通过加入常见的数据增强技术，例如随机裁剪、缩放、旋转，随机亮度、对比度、色度、色饱和度，增加污损、遮挡等方式，使合成的图片更加贴近真实情况下的车牌图片。然而这种通过人工方法合成的车牌图片很难模拟真实场景下车牌图片的诸多细节，图片效果过于单一化。这会导致识别模型学习到错误的知识，无法挖掘车牌图片数据的本质特征，从而使得模型泛化能力下降，在真实数据上的表现效果较差。