[发明专利]基于神经网络的全景图内容补全和修复的方法及装置

说明书

本发明提出了一种基于神经网络的全景图内容补全和修复的方法，包括：确定第一坐标系S下的全景图中的待补全区域，待补全区域以第二坐标系Q表示；将全景图中的待补全区域内的像素及其周缘预定义范围内的像素映射到第三坐标系R，得到待补全平面图像；在第三坐标系R下基于神经网络方法对待补全平面图像进行补全，得到补全的平面图像；将第三坐标系R下补全的平面图像中的对应于待补全区域的像素点反投影到全景图的第一坐标系S。据此，可以依据全景图数据进行水印消除，前景遮挡物去除等图像补全操作。克服了相关技术中直接在全景图的二维存储形态上进行图像补全的变形失真等问题，显著提升了全景内容的展现质量和内容分发过程中的用户体验。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于神经网络的全景图内容补全和修复的方法及装置。

背景技术

全景内容(panorama)包括全景图片和全景视频，有时也被称为“360°全景”或“街景(street view)”等，是图片或视频的一种特殊呈现形式。通过全景图可以利用广角的表现手段以及图像、视频、三维模型等形式，更好地表现出周围的环境。让用户可从任意角度无限制地观看全景内容投影到三维空间之后的画面(例如，一般来说，构造全景图时会期望全景图可支持可水平方向360°范围、垂直方向180°范围)。

传统视觉内容——例如典型的平面图片和视频，所展示的画面空间上大多局限于矩形屏幕、用户视角被局限在特定范围内。全景图与之相比，具有连贯性好、能多线性、多角度地展示周围环境、提供更好的临场感、大空间、以及高交互性等优点。由于全景图可以展示维度更高、更丰富的视觉内容，提供更具沉浸感、真实性和趣味性的视觉体验，故而尤其适合支持复杂环境、虚拟户外、沉浸探索、操作指导等场景下的信息展示和用户交互。并且全景图在虚拟现实(VR：virtual reality)技术中的场景展示和用户交互方面也得到越来越广泛的应用。可以说，全景图及其在VR场景下的展示和用户交互，代表了下一代信息展现的形态和趋势。

同时，随着摄影技术(如民用无人机、便携式全景相机等)的高速发展，全景内容的生产成本越来越低。在精度要求不高的情况下，很多智能手机均能实现简单的全景图像拍摄和拼接，无需专业设备和软件。从而在互联网尤其是社交媒体上，全景内容也越来越多地出现。除了专业VR设备外，主流的网页浏览器现已支持对全景内容的展示和交互。在人工智能背景下，全景内容也能更好地满足用户对视觉信息进行搜索和消费的需求。可以预见，在短期未来内，直接以全景图形式提供和展现的视觉内容，将会在内容领域占据越来越多的比例。

在传统视觉内容的生成和传播所遇到的问题，全景图基本均要面对，此外还有一部分由于全景图特点而导致的特殊问题。例如，全景内容在制作、分发、传播的过程中也可能被人为加入广告或水印等附加视觉信息，对内容产生一定程度的遮挡，影响全景内容的完整性和用户观看体验。图1示出了一些添加了水印的全景图局部图像，其中，水印区域以方框标识。此外，在全景内容的拍摄过程中，也会出现不受控制的局部遮挡，例如在热门景点，由于人流密度大，极易发生拍摄全景图时主体景物被人遮挡的情况，而拍摄者难以像拍摄普通照片一样对整个场景进行有效控制。再者，基于隐私等因素的考虑，也可能需要对全景中出现的特定物体(如行人、车辆等)进行自然地抹除。

在技术层面，水印或者特定遮挡物的去除涉及对全景画面中的特定像素区域进行修复。一般体现为抹除前景像素、基于其周边可用的背景像素信息对前景范围内的像素取值进行推断、计算和填充。对于普通的平面图像，相关技术中有一些手段来实现这样的目的，但是对于从全景图中直接进行对广告/水印/特定物体等的抹除，尚无有效的方法。而直接将用于普通平面图像的修复方法用于全景图，则会面临扭曲、失真等问题。因此，需要有效的针对全景内容的图像补全和修复方法，以实提升用户观看体验和/或对隐私的有效保护。