[发明专利]基于神经网络的全景图内容补全和修复的方法及装置

摘要

本发明提出了一种基于神经网络的全景图内容补全和修复的方法，包括：确定第一坐标系S下的全景图中的待补全区域，待补全区域以第二坐标系Q表示；将全景图中的待补全区域内的像素及其周缘预定义范围内的像素映射到第三坐标系R，得到待补全平面图像；在第三坐标系R下基于神经网络方法对待补全平面图像进行补全，得到补全的平面图像；将第三坐标系R下补全的平面图像中的对应于待补全区域的像素点反投影到全景图的第一坐标系S。据此，可以依据全景图数据进行水印消除，前景遮挡物去除等图像补全操作。克服了相关技术中直接在全景图的二维存储形态上进行图像补全的变形失真等问题，显著提升了全景内容的展现质量和内容分发过程中的用户体验。

主权项

1.一种基于神经网络的全景图内容补全和修复的方法，其特征在于，包括：确定全景图中的待补全区域，其中，全景图以第一坐标系S表示，待补全区域以第二坐标系Q表示，所述第一坐标系S到第二坐标系Q的映射为第一投影变换f；将全景图中的待补全区域内的像素及其周缘预定义范围内的像素映射到第三坐标系R，得到第三坐标系R下的待补全平面图像，其中，所述第三坐标系R为平面坐标系，从第二坐标系Q到第三坐标系R的映射为第二投影变换g，所述第二投影变换g为局部平面投影；在第三坐标系R下基于神经网络方法对待补全平面图像进行补全，得到补全的平面图像；以及将第三坐标系R下补全的平面图像中的对应于待补全区域的像素点反投影到全景图的第一坐标系S。