[发明专利]基于深度学习的全景相机姿态估计方法

摘要

本发明公布了一种基于深度学习的全景相机姿态估计方法，基于深度卷积网络和消失点，对全景相机的三维朝向进行估计，只需给定单张全景图片即能较快地估计得到相机相对于世界的旋转矩阵；包括：图像数据采集、图像数据处理、建立用于全景相机姿态估计的新的网络结构PanoNet、训练PanoNet并预测估计全景相机姿态。本发明使用单张全景图片，能够在有遮挡，有空洞，弱纹理等场景下，估计全景相机相对于世界坐标系的旋转。方法的鲁棒性高。

主权项

1.一种基于深度学习的全景相机姿态估计方法，基于深度卷积网络和消失点，对全景相机的三维朝向进行估计，只需给定单张全景图片即能较快地估计得到相机相对于世界的旋转矩阵；包括如下步骤：1)图像数据采集：获取区域的全景图片；2)图像数据处理，执行如下操作：21)将全景图片转换为透视投影下的图片；具体地：首先将全景图片纹理映射在单位球的表面，然后在单位球的内部放置同心立方体，在球心处放置虚拟针孔模型相机，球心到立方体表面的距离为焦距f，得到六张透视投影图片；22)在透视投影图片下，标记相机相对世界坐标系的三维旋转矩阵；23)利用渲染技术及纹理贴图技术模拟相机的不同旋转，生成新视角的图片及旋转矩阵；标记旋转矩阵；标记旋转矩阵具体是：在六张透视图片中标记消失点，作为旋转矩阵的三个列向量，即得到三维旋转矩阵；3)建立用于全景相机姿态估计的新的网络结构PanoNet：设计具有两个并行输出的网络结构，两个并行输出分支分别输出两个方向的消失点，输出的消失点同时是旋转矩阵的两个方向向量；4)训练步骤3)新建的网络结构，具体采用小批量随机梯度下降的方法，利用步骤1)和步骤2)得到的图片训练网络；5)预测估计全景相机姿态：给定单张全景图片，输入到训练好的网络，网络输出两个三维单位列向量，作为旋转矩阵的前两列向量，叉积得到第三列向量，即得到相机相对于世界的旋转矩阵，即全景相机姿态；所述旋转矩阵是一个3x3的矩阵R；且满足：RRT＝Idet(R)＝1其中，I是三行三列的单位矩阵；det()表示对矩阵求行列式；通过上述步骤，实现基于深度学习的全景相机姿态估计。