[发明专利]一种全景图生成方法

说明书

技术领域

本发明涉及一种图像处理方法。

背景技术

采用单一镜头对周围环境拍照，受视场大小限制，难以反映周围全景概况。针对这种情况，需要对周围场景的若干幅图像进行拼接，形成周围的全景图像，方便用户感知周围地形地貌或场景的概况。对汽车等用户而言，基于该技术的多摄像头记录仪可以对汽车周围360度全景无缝监控。对于月球车而言，周围全景图变得尤为重要，可以指导月球车的行走，避免驶入月球坑及撞上岩石。对普通家庭用户而言，采用多摄像头配合使用，可以对家庭实现360度全景无缝监控。由于生成的图像为周围全景图像，在计算机、电视等媒介上回放时无需传统的多个显示窗口，拼接后的视频内容在同一个窗口内拼接后回放，具有观看简洁、清晰、震撼的效果。

传统方法使用特征点邻域灰度互相关法进行特征点匹配，运用优化算法估计图像间的点变换关系，最后采用颜色插值对交接处进行颜色过渡来形成全景图。例如2004年第9期《中国图像图形学报》上的文献“一种全自动稳健的图像拼接融合算法”使用了LM优化算法估计图像间的点变换关系；2013年第5期《计算机辅助设计与图形学学报》上的文献“基于旋转采集Data Matrix码序列图像拼接方法”使用了对拼接区域分块、对不同块区域进行颜色融合的方法。这些方法的不足之处在于计算复杂，难以满足实时性的要求；其次方法仅考虑了摄像角度水平情况下的拼接，此种情况的拼接为柱面拼接，相对只有一个平移量，比较简单，对于镜头存在俯仰等情况，拼接出来的图像为球面图像，需要将球面图像转换到柱面图像，以进行更客观的展示。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供了一种拼接精度高、图像畸变小、重叠区域柔和过渡、拼接速度快的全景图生成方法，针对镜头任何角度的俯仰和旋转、不同视角的不同曝光，均能完成全景图的生成，对拼接过渡区域能柔和展现，适用于月球车、汽车记录仪、家用监控等图像处理领域。

本发明的技术解决方案是：一种全景图生成方法，包括如下步骤：

(1)针对同一区域，采用同一相机以不同的角度先后获取两幅图像，其中一幅为基准图像，另一幅为待配准图像；所述的基准图像和待配准图像中存在部分重叠的影像，称为共有区域；

(2)对于基准图像，分别计算每一个像素点和其附近的N个像素点之间的灰度值差值，将计算得到的针对同一像素点的N个灰度差值求和作为该像素点的特征值，将所有像素点按照特征值由大到小的顺序进行排序，形成基准图像像素特征值序列；对于待配准图像，执行相同的操作，形成待配准图像像素特征值序列，其中N为不小于5的正整数；

(3)在基准图像像素特征值序列中选择前M个像素点作为基准图像特征点，在待配准图像像素特征值序列中选择前M个像素点作为待配准图像特征点，M为不小于500的正整数；

(4)选取一个基准图像特征点，然后选取与该基准图像特征点的特征值最接近和次接近的两个待配准图像特征点，如果特征值最接近的待配准图像特征点的特征值D_FirMin与次接近的待配准图像特征点的特征值D_SecMin的比值不大于预先设定的匹配阈值，则将选取的基准图像特征点与特征值最接近的待配准图像特征点作为一个匹配点对；遍历所有的基准图像特征点，执行同样的操作，形成匹配点对序列；

(5)利用步骤(4)得到的匹配点对序列，构建仿射映射关系，通过构建的仿射映射关系，得到基准图像与待配准图像的共有区域及两幅图像之间的图像变换关系；

(6)对两幅图像的共有区域进行拼接融合，融合后共有区域的每个像素点的像素值为：

(7)重复步骤(1)～(6)，直到拼接融合完针对同一区域的所有图像，由此得到针对同一区域的球面全景图；

(8)将所述球面全景图从球面坐标系变换到展开后的平面坐标系，生成全景图，其中变换公式为：

其中x′，y′为平面坐标系下像素点的坐标，x、y为球面图像坐标系下像素点的坐标，α为相机镜头的俯仰角，R为像素点对应的目标点到相机镜头的距离。

所述N的取值为8。所述M的取值为500。所述的匹配阈值范围为1.2～4。

本发明与现有技术相比的优点在于：

(1)本发明方法整体流程简单、速度快，在镜头俯仰角度未知、旋转角度未知的情况下可完成高精度、畸变小的全景图生成，并可将全景图从球面转换到柱面，方便用户观看；