[发明专利]一种全景相机镜头姿态估计方法及全景相机

说明书

本发明公开了一种全景相机镜头姿态估计方法及全景相机，从利用N个鱼眼镜头获取的N个鱼眼图像中选取M对鱼眼图像；根据每对鱼眼图像对应的两个鱼眼镜头的三维方向向量，获取每对鱼眼镜头转换到同一方向的两个矩阵；根据每对鱼眼镜头转换到同一方向的矩阵和内部参数，对每个鱼眼图像进行校正，并将获取到的校正后的所述M对鱼眼图像进行特征点提取和特征点匹配，获取到每对鱼眼图像的匹配特征点对；根据每对鱼眼图像的匹配特征点对在图像坐标系下的二维坐标和每对鱼眼镜头中两个鱼眼镜头转换到同一方向的矩阵，获取每对鱼眼图像的匹配特征点对的三维坐标集；根据每对鱼眼图像的匹配特征点对的三维坐标集，获取每个鱼眼镜头在世界坐标系中的姿态。

技术领域

本发明涉及图像处理领域，尤其涉及一种全景相机镜头姿态估计方法及全景相机。

背景技术

全景相机需要将多个摄像头的画面进行拼接，以形成360度的全景图像，拼接计算过程中需要用到各个相机的参数，包括内部参数和外部参数。其中各个摄像头的内部参数可以采用棋盘图像标定算法进行估计。

现有全景拼接方案大多采用直接对相邻图像采用特征点提取、匹配，然后通过RANSAC算法估计图像之间的仿射变换参数(或其它变换)，最后通过BA来进行全局相机参数优化，以获取到优化后的各个摄像头的外部参数(姿态)：旋转矩阵R和位移向量t。由于全景相机在安装摄像头时，虽然摄像头的安装位置根据全景相机设计相对固定，但是生产安装过程中不可避免会产生误差，即便是较小的误差，会使得获取的各个摄像头的姿态的精确度降低，反应到图像上也会造成图像较大的差异，从而影响全景相机整体的拼接效果，导致拼接效果变差的问题。

发明内容

本发明提供了一种全景相机镜头姿态估计方法及全景相机，能够解决由于摄像头安装误差导致获取的各个摄像头的姿态的精确度差的问题，实现了在摄像头安装误差存在的情况下提高获取的各个摄像头的姿态的精确度的效果，从而有效提高全景图像的拼接效果。

本发明第一方面提供一种全景相机镜头姿态估计方法，所述全景相机具有N个鱼眼镜头，N为不小于2的整数，所述方法包括：

利用N个鱼眼镜头在同一时刻获取到N个鱼眼图像；

从所述N个鱼眼图像中选取M对鱼眼图像，其中，每两个具有相交区域的鱼眼图像组成一对鱼眼图像，M为不小于1的整数；

根据每对鱼眼图像对应的两个鱼眼镜头的三维方向向量，获取每对鱼眼镜头中两个鱼眼镜头转换到同一方向的两个矩阵；

根据每对鱼眼镜头中每个鱼眼镜头转换到同一方向的矩阵和内部参数，对每个鱼眼图像进行校正，获得校正后的所述M对鱼眼图像；

对校正后的每对鱼眼图像进行特征点提取和特征点匹配，获取到每对鱼眼图像的匹配特征点对；

根据每对鱼眼图像的匹配特征点对在图像坐标系下的二维坐标和每对鱼眼镜头中两个鱼眼镜头转换到同一方向的矩阵，获取每对鱼眼图像的匹配特征点对的三维坐标集；

根据每对鱼眼图像的匹配特征点对的三维坐标集，获取每个鱼眼镜头在世界坐标系中的姿态。

可选的，所述从所述N个鱼眼图像中选取M对鱼眼图像，具体包括：

根据所述N个鱼眼镜头的分布，从所述N个鱼眼镜头中选取M对鱼眼镜头，其中，每相邻两个鱼眼镜头组成一对鱼眼镜头；

根据所述M对鱼眼镜头，从所述N个鱼眼图像中选取与所述M对鱼眼镜头对应的所述M对鱼眼图像。

可选的，所述根据每对鱼眼图像对应的两个鱼眼镜头的三维方向向量和内部参数，获取每对鱼眼镜头中两个鱼眼镜头转换到同一方向的矩阵，具体包括：

根据每对鱼眼图像对应的两个鱼眼镜头的三维方向向量，获取每对鱼眼图像对应的两个鱼眼镜头的中间方向向量；