[发明专利]基于生成对抗网络的红绿灯图像生成方法和装置

说明书

本发明实施例涉及一种基于生成对抗网络的红绿灯图像生成方法和装置，所述方法包括：使用多个真实红绿灯图像，对图像生成模型进行训练；使用完成训练的图像生成模型根据红绿灯图像A的颜色特征和红绿灯图像B的结构特征进行图像生成处理得到新的红绿灯图像C；使用完成训练的图像生成模型根据灭灯颜色特征和红绿灯图像D的结构特征进行图像生成处理得到处于灭灯状态的红绿灯图像E；使用红绿灯图像D与红绿灯图像E进行图像融合处理生成更好质量的红绿灯图像F；若要进一步生成红绿灯闪烁图像序列，则通过设置图像融合参数在红绿灯图像E与红绿灯图像F间插入多个红绿灯图像。本发明解决了红绿灯样本数量有限且种类单一化的问题。

技术领域

本发明涉及数据处理技术领域，特别涉及一种基于生成对抗网络的红绿灯图像生成方法和装置。

背景技术

无人驾驶系统由感知、预测、决策等多个模块组成，交通信号识别也就是红绿灯识别是感知模块的重要功能，并为预测、决策等模块提供重要的基础信息。针对红绿灯识别任务，目前主要存在两种解决方案：一是基于单车智能，即利用车载摄像头拍摄的图像并辅以计算机视觉方法来感知红绿灯状态；二是使用车用无线通信技术(vehicle to X，V2X)，即借助车辆与路基设备间的无线通信，实时获取红绿灯的变化信息。然而，后者需要投入大量成本进行基建，因此并不能短时间内大范围应用，所以前者基于视觉的处理方法依然是当前的主流。而使用计算机视觉方法处理红绿灯识别则需要收集海量的红绿灯图像对识别模型进行训练，为保证识别模型的训练效果，又进一步对图像数据的多样性和复杂性提出了更高的要求。可是在实际应用中，要收集海量多样化的红绿灯图像是很难实现的，这无形中造成了识别模型训练数据不均衡的问题，从而导致模型的泛化能力较差。

发明内容

本发明的目的，就是针对现有技术的缺陷，提供一种基于生成对抗网络的红绿灯图像生成方法、装置、电子设备及计算机可读存储介质，通过训练并使用一种基于生成对抗网络的图像生成模型，对不同类别红绿灯颜色的红绿灯图像进行颜色特征与结构特征解耦，并利用解耦后的颜色特征和结构特征进行图像重构从而得到更多更复杂的红绿灯图像，如此一来就可解决当前红绿灯样本数据数量有限且种类单一化的问题，进而就能提高无人驾驶系统红绿灯识别模型的泛化能力。

为实现上述目的，本发明实施例第一方面提供了一种基于生成对抗网络的红绿灯图像生成方法，所述方法包括：

使用多个第一真实红绿灯图像，对基于生成对抗网络的图像生成模型进行正则化处理；再使用多个同类别红绿灯颜色的第二真实红绿灯图像，对所述图像生成模型进行同类别图像生成训练；再使用多个不同类别红绿灯颜色的第三真实红绿灯图像，对所述图像生成模型进行跨类别图像生成训练；

使用完成训练的所述图像生成模型生成红绿灯图像时，将不同类别的红绿灯图像A和红绿灯图像B输入到所述图像生成模型中，再由所述图像生成模型根据所述红绿灯图像A的颜色特征和所述红绿灯图像B的结构特征进行图像生成处理，从而得到新的红绿灯图像C；

使用完成训练的所述图像生成模型生成灭灯图像时，将处于亮灯状态的红绿灯图像D输入到所述图像生成模型中，再由所述图像生成模型根据灭灯颜色特征和所述红绿灯图像D的结构特征进行图像生成处理，从而得到处于灭灯状态的红绿灯图像E；接着再使用所述红绿灯图像D与所述红绿灯图像E进行图像融合处理，生成具备更好图像质量的红绿灯图像F；若要进一步生成红绿灯闪烁图像序列，则由所述红绿灯图像D和所述红绿灯图像F依次交替排序即可获得所述红绿灯闪烁图像序列；若要进一步生成红绿灯亮度减弱图像序列，则通过设置图像融合参数在所述红绿灯图像D与所述红绿灯图像F间插入多个图像结构相同、红绿灯亮度不同的红绿灯图像即可获得所述红绿灯亮度减弱图像序列。

优选的，所述图像生成模型包括颜色编码器、结构编码器和生成对抗网络；所述生成对抗网络包括生成器G和判别器D；