[发明专利]基于神经网络的全景图内容补全和修复的方法及装置

权利要求书

1.一种基于神经网络的全景图内容补全和修复的方法，其特征在于，包括：

确定全景图中的待补全区域，其中，全景图以第一坐标系S表示，待补全区域以第二坐标系Q表示，所述第一坐标系S到第二坐标系Q的映射为第一投影变换f；

将全景图中的待补全区域内的像素及其周缘预定义范围内的像素映射到第三坐标系R，得到第三坐标系R下的待补全平面图像，其中，所述第三坐标系R为平面坐标系，从第二坐标系Q到第三坐标系R的映射为第二投影变换g，所述第二投影变换g为局部平面投影；

在第三坐标系R下基于神经网络方法对待补全平面图像进行补全，得到补全的平面图像；以及

将第三坐标系R下补全的平面图像中的对应于待补全区域的像素点反投影到全景图的第一坐标系S；

基于神经网络方法对待补全平面图像进行补全包括：

根据全景内容生成训练数据，对神经网络进行预先训练，将训练后的神经网络作为图像补全模型；以及

根据图像补全模型对所述待补全平面图像进行补全；

根据全景内容生成训练数据包括：根据所述全景内容，以多个各异的观察视角在整个可视空间内对全景内容进行视角采样得到多幅二维平面图像，将所述二维平面图像作为训练数据，其中，

所述观察视角包括模拟观察点的方位，观察角度以及可视范围；

所述视角采样包括：根据观察视角对应的模拟观察点和观察角度，将可视范围内的全景内容进行局部平面投影。

2.根据权利要求1所述的基于神经网络的全景图内容补全和修复的方法，其特征在于，所述第二坐标系Q与第一坐标系S不同，确定全景图中的待补全区域包括：将全景图映射到第二坐标系Q，并在第二坐标系Q下确定待补全区域。

3.根据权利要求1所述的基于神经网络的全景图内容补全和修复的方法，其特征在于，所述第二坐标系Q与第一坐标系S不同，确定全景图中的待补全区域包括：在第一坐标系S下确定待补全区域，并将第一坐标系S下的待补全区域映射到第二坐标系Q，得到第二坐标系Q下的待补全区域。

4.根据权利要求1所述的基于神经网络的全景图内容补全和修复的方法，其特征在于，

所述第二坐标系Q与第一坐标系S相同，

确定全景图中的待补全区域包括在第一坐标系S下确定待补全区域；

将全景图中的待补全区域内的像素及其周缘预定义范围内的像素映射到第三坐标系R包括：将全景图中的待补全区域内的像素及其周缘预定义范围内的像素从第一坐标系S映射到第三坐标系R。

5.根据权利要求1所述的基于神经网络的全景图内容补全和修复的方法，其特征在于，所述第二投影变换g为满足保持特定几何特性的变换。

6.根据权利要求5所述的基于神经网络的全景图内容补全和修复的方法，其特征在于，所述满足保持特定几何特性的变换包括保角变换和/或保形变换。

7.根据权利要求1所述的基于神经网络的全景图内容补全和修复的方法，其特征在于，所述第二投影变换g满足：待补全区域的几何中心在第二投影变换后，对应于待补全平面图像的几何中心或几何中心附近一定范围的邻域内。

8.根据权利要求1到7中任意一项所述的基于神经网络的全景图内容补全和修复的方法，其特征在于，所述第二坐标系Q为球坐标系。

9.根据权利要求1到7中任意一项所述的基于神经网络的全景图内容补全和修复的方法，其特征在于，将全景图中的待补全区域内的像素及其周缘预定义范围内的像素按照映射到第三坐标系R，包括：

将全景图映射到第二坐标系Q，第二坐标系Q为球坐标系；

以第二坐标系Q的球心为观察点；

以过第二坐标系Q中待补全区域的几何中心与球坐标系的球面相切的平面为基本投影面；以及

将第二坐标系Q下全景图中的待补全区域内的像素及其周缘预定义范围内的像素投影到所述基本投影面或者与所述基本投影面平行的平面，得到待补全平面图像。