[发明专利]一种基于对抗网络的道路箭头图片生成方法及系统

说明书

本发明提供一种基于对抗网络的道路箭头图片生成方法及系统，方法包括：向预先训练后的对抗网络模型中分别输入目标图片和参考图片，获取所述对抗网络模型输出的与所述目标箭头的类型相同，且与所述参考箭头的风格信息和背景信息相同的新目标箭头，其中，所述目标图片中包括目标箭头，所述参考图片中包括参考箭头；将新目标箭头融合到所述参考图片中。本发明对参考图片中道路箭头的类型进行修改，而不改变道路箭头的风格，扩展目标类型的道路箭头的图片样本。

技术领域

本发明涉及神经网络领域，更具体地，涉及一种基于对抗网络的道路箭头图片生成方法及系统。

背景技术

生成对抗网络(GAN)是生成模型的一种神经网络架构。GAN是使用两个神经网络模型训练而成的一种生成模型。其中一个称为“生成器”模型，可学习生成新的可用图像；另一个称为“判别器”，可用于判别区分生成的假图和训练模型的原始图像。这两种模型处于一种竞争状态，生成器企图愚弄判别器，而判别器则要同时处理生成图片和实际图片。

但是对抗网络生成的图片都是整张图像，但是目前现有对抗网络生成的图像分辨率较小，无法满足现有的深度学习模型训练工作，如何在使用对抗网络生成整张图像中的局部小目标，同时将小目标融合到整体图片时，图片的边缘的平滑梯度较小，生成新的目标又具备多样性，这是生成对抗网络一个较难解决的问题。

发明内容

本发明针对现有技术中存在的技术问题，提供一种基于对抗网络的道路箭头图片生成方法及系统，能够修改参考图片中道路箭头的类型，且修改后的道路箭头的风格不变。

根据本发明的第一方面，提供了一种基于对抗网络的道路箭头图片生成方法，包括：向预先训练后的对抗网络模型中分别输入目标图片和参考图片，获取所述对抗网络模型输出的与所述目标箭头的类型相同，且与所述参考箭头的风格信息和背景信息相同的新目标箭头，其中，所述目标图片中包括目标箭头，所述参考图片中包括参考箭头；将新目标箭头融合到所述参考图片中。

在上述技术方案的基础上，本发明还可以作出如下改进。

可选的，所述对抗网络模型包括生成器G、映射网络M、风格编码器E和鉴别器D，对抗网络模型的训练过程包括：收集不同场景下的道路图像，提取每一张道路图像中的道路箭头区域，并对道路箭头的类型进行标注，作为训练样本集，对所述对抗网络模型进行训练。

可选的，所述对所述对抗网络模型进行训练，包括：向生成器G中输入道路箭头的目标类型和原始图片，所述原始图片中道路箭头的类型与道路箭头的目标类型不同，获取所述生成器G生成的第一新图片，其中，第一新图片中的道路箭头的类型为目标类型；将生成的第一新图片分别输入判别器D和再次回环输入生成器G中，通过判别器D判别生成的第一新图片为虚假图片还是真实图片，以及第一新图片中道路箭头的类型，通过再次输入生成器G中，生成第二新图片，所述第二新图片中的道路箭头的类型与原始图片中道路箭头的类型相同；计算第二新图片中的道路箭头和原始图片中的道路箭头之间的损失，反复训练得到最优的对抗网络模型。

可选的，所述第二新图片中的道路箭头和原始图片中的道路箭头之间的损失包括对抗损失、风格重建损失、风格差别多元化损失和循环一致性损失。

可选的，所述道路箭头的类型包括直行箭头和左转箭头，所述目标图片中目标箭头的类型为左转箭头，所述参考图片中参考箭头的类型为直行箭头，所述生成的新目标箭头为新左转箭头。

可选的，所述风格信息和背景信息至少包括导向箭头的倾斜角度、大小、图片的对比度和亮度。

可选的，所述将新目标箭头融合到所述参考图片中，包括：

调整生成的新左转箭头的亮度和对比度与参考图片中直行箭头的亮度和对比度一致；

基于泊松融合算法调整新左转箭头的风格和背景颜色，获取调整后的新左转箭头；