[发明专利]基于深度学习的全景相机姿态估计方法

说明书

本发明公布了一种基于深度学习的全景相机姿态估计方法，基于深度卷积网络和消失点，对全景相机的三维朝向进行估计，只需给定单张全景图片即能较快地估计得到相机相对于世界的旋转矩阵；包括：图像数据采集、图像数据处理、建立用于全景相机姿态估计的新的网络结构PanoNet、训练PanoNet并预测估计全景相机姿态。本发明使用单张全景图片，能够在有遮挡，有空洞，弱纹理等场景下，估计全景相机相对于世界坐标系的旋转。方法的鲁棒性高。

技术领域

本发明涉及全景相机姿态估计方法，尤其涉及一种新的基于深度学习的全景相机姿态估计方法，该方法能够从单张全景图片中准确地估计出相机相对于世界坐标系的旋转矩阵即全景相机姿态。

背景技术

相机姿态估计一直是计算机视觉中热门的研究方向，也是计算机视觉中的一个基本问题，它在我们的生活中具有广泛的应用，比如无人机，自动驾驶，虚拟现实等方面。现有的相机姿态估计主要有三种方法。

第一种方法主要是基于多视点几何，给定多张图片，首先提取每张图片的特征点，主要有SIFT，SURF，ORB等特征点提取方法，然后将每帧的特征点匹配起来，然后根据视觉几何的方法，计算相机的旋转。这种方法主要有两个较大的问题，首先，对于弱纹理或无纹理的场景很难得到鲁棒的结果。其次，采用这种方法，只能得到摄像机相对于初始帧的旋转，无法得到相对于世界坐标系的旋转再者，该方法需要同一个场景的多张图片，对于数据的数量有要求。因此，该方法的局限性比较大。

第二种方法是利用消失点，消失点即空间中的平行直线在图像中的交点。如果能辨识出消失点的平面坐标，也能够估计相机的旋转，但是对于全景相机来说，空间中的直线基本都发生较大的畸变，变成曲线，很难检测到曲线的交点，因此该方法并不直接适用于全景图像。

第三种方法就是当前流行的基于深度学习的方法。利用大量的有标记的图片数据训练神经网络，输出相机的旋转。但是该方法也存在问题，一个是大量标记的数据很难得到，其次是，预测的标签的选择，如果直接输出欧拉角的话，欧拉角具有奇异性，周期性，效果会比较差，而如果输出四元数的话，四元数的语义性比较弱，难以得到较好的结果。

因此，上述现有的三种方法都存在较大的问题，很难应用到实际中去。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于深度学习的全景相机姿态估计方法，将现在流行的深度卷积网络与利用消失点估计相机姿态的方法结合起来，估计全景相机相对于世界坐标系的旋转，从而得到全景相机姿态估计。本发明尽量使用单张全景图片，能够在有遮挡，有空洞，弱纹理等场景下，估计全景相机相对于世界坐标系的旋转，方法的鲁棒性高。

本发明的技术方案如下：

一种基于深度学习的全景相机姿态估计方法，基于深度卷积网络和消失点对全景相机的三维朝向进行估计，使用本发明方法，只需给定单张全景图片就能够较快的估计相机相对于世界的旋转矩阵，在有遮挡，光线较差的条件下仍然能够取得较好的效果；包括如下步骤：

1)图像数据采集：获取区域的全景图片；

具体实施时，在谷歌街景中选取各个大城市，在每个城市中随机选取城市的内部区域，模拟相机采集全景图片；

2)图像数据处理：将全景图片转换为透视投影下的图片，在透视投影图片下，标记相机相对世界坐标系的三维旋转矩阵。然后利用OpenGL的渲染技术以及纹理贴图技术模拟相机的不同旋转，生成新视角的图片以及旋转矩阵。

将全景图片转换为透视投影下的图片，具体地：首先将全景图片纹理映射在单位球的表面，然后在单位球的内部放置同心立方体，在球心处放置虚拟针孔模型相机，得到六张透视投影图片，球心到立方体表面的距离为焦距f。