[发明专利]一种基于道路影像的遮挡物覆盖区域填充方法和装置

说明书

本发明实施例提供一种基于道路影像的遮挡物覆盖区域填充方法和装置，与现有的图像修复补全网络方法直接对三通道彩色图像的缺失区域进行推断补全，其修复结果图像模糊、修复痕迹明显相比，本发明将图像修复工作分解为两个过程：首先修复原始道路影像中缺失部分的边缘得到边缘图像；在得到了边缘图像之后，将修复后获得的边缘图像作为先验约束进行图像修复补全网络，从而实现道路影像的修复工作。修复后得到的道路场景影像中，规则纹理部分得到了很好地重建，符合人们的视觉习惯，可以获得很好的视觉效果。

技术领域

本发明实施例涉及图像分类识别技术以及深度学习技术领域，尤其涉及一种基于道路影像的遮挡物覆盖区域填充方法和装置。

背景技术

智慧城市上升到国家战略高度以来，智慧城市建设进程不断推进。在此背景下，无人驾驶研究如火如荼，智能交通技术迅猛发展。而正射影像数据正是实现这些技术来为现代化城市提供智慧服务的数据基础。虽然传统地图已具备了信息载负、信息传输、认知和模拟等基础功能。但相比之下，正射影像数据则具有更加明显的优势：除了具备高几何精度，它还具备丰富的场景，能够带来更高的视觉真实感，而且还可以提供丰富的语义信息，具有可量测、可挖掘的功能。这些优势可以辅助用户更好地认知场景，帮助管理者和政策制定者更好地进行管理、执行或政策制定。而道路要素，不论是对于智慧城市建设，还是在正射影像数据范畴内，都是一个至关重要的组成部分。

然而，在多种因素的作用下，实际生产出的道路影像中不可避免地会出现一些不符合应用需求的情况，比如：街道过往、停泊车辆使影像脏乱；建模过程中道路上出现小部分缺失；道路上存在污渍或其他不需要的东西(需要剔除)；行进车辆建模后产生拖影或纹理拉花等。这就会导致生成的道路中有些部位的纹理质量低下甚至存在缺失，或导致场景脏乱不美观，这些都直接影响到生成的道路效果，间接影响其在下游技术中的应用。

而且，正射影像数据不同于传统的数字影像，其是由多张影像，根据摄影测量的相关理论方法制作而成的，影像上每个像素的色彩均来自不同的原始影像，影像属性具特殊性。同时，航拍获得的下视影像内容聚焦在地表或建筑物的上表面，而当前研究提出的方法大多针对自然场景或人脸影像，专注于地面以上、观察者视线以内的影像，对于地表道路场景的影像修复方法较少。目前很多人提出的方法对于类似场景下的影像数据并不适用，修复后的影像存在色彩不均一、边缘不清晰(过度平滑)等问题，造成生成的结果影像失真。此外，就目前来看，在进行影像修复的实际应用时，几乎所有的图像修复算法均没有实现对图像缺失破损区域的自动修复，需要用户把需要被修复的图像区域预先设定好。对于影像中特定的、重复出现的遮挡物的去除没有实现自动化，人工去除这些遮挡就大大增加了时间和成本。

一般来讲，目前基于深度学习的图像修复方法基本遵循同一个思路，即：通过将大量的原始影像数据作为训练样本输入到一个预先建立的端到端(End-to-End)的深度学习网络模型中进行训练，并使得该网络通过这样大量的学习得到完整图像的深层特征；然后将存在缺失区域的缺损影像输入到该训练后的网络中，并期望该网络能够依据之前学习好了的完整影像特征预测出缺失区域的内容，以对缺失区域进行符合既有特征分布的修复，并将修复得到的结果进行输出。在整个流程中，由神经网络提取的图像深层特征完全取代了人工设计提取的特征，不需要再人为地规定任何特征。

然而，现有的大多数基于深度学习技术的图像修复补全网络工作中，采用直接对三通道彩色图像的缺失区域进行推断补全的手段来进行。采用这种思路来进行图像修复工作时所得到的结果存在两个比较严重的问题：(1)过度平滑导致的图像模糊问题，这大多是因为采用范数距离来计算重构损失；(2)很难避免较为明显的修补痕迹，这往往是由于在对抗损失的计算中使用特征损失。即便是将范数距离和特征距离两者结合使用，结果也只是对上述两个问题的平衡，并未实质性地解决这些问题。

发明内容

本发明实施例提供一种基于道路影像的遮挡物覆盖区域填充方法和装置，用以解决现有的图像修复补全网络方法直接对三通道彩色图像的缺失区域进行推断补全，训练中过度平滑导致修复结果图像模糊，并且修复痕迹明显的缺陷。