[发明专利]一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法

说明书

技术领域

本发明属于图像数据处理技术领域，涉及一种图像拼接方法，具体涉及一种应用于车载的多个摄像头近距离拍摄周围场景的鱼眼图像拼接中的鱼眼镜头垂直映射图像几何校正方法。 

背景技术

随着摄影技术的广泛应用，全景视觉感知技术成为民用、军事还有宇航空间领域中的依赖与视觉信息做出决策的行业的热门研究方向。目前全景视觉感知技术主要是利用反射镜和鱼眼镜头两种方法。鱼眼镜头是一种焦距极短并且视角接近或等于180°的镜头。它是一种极端的广角镜头，俗称“鱼眼镜头”。为使镜头达到最大的摄影视角，这种摄影镜头的前镜片直径且呈抛物状向镜头前部凸出，与鱼的眼睛颇为相似，“鱼眼镜头”因此而得名。鱼眼镜头属于超广角镜头中的一种特殊镜头，它的视角力求达到或超出人眼所能看到的范围。因此，鱼眼镜头与人们眼中的真实世界的景象存在很大的差别。我们在实际生活中看见的景物是有规则的固定形态，而通过鱼眼镜头产生的画面效果则超出了这一范畴。 

众所周知，焦距越短，视角越大，因光学原理产生的变形也就越强烈。为了达到180度的超大视角，鱼眼镜头的设计者不得不作出牺牲，即允许这种变形（桶形畸变）的合理存在。其结果是除了画面中心的景物保持不变，其他本应水平或垂直的景物都发生了相应的变化。 

由于鱼眼镜头具有视场大的特点，一帧图像包含的信息就非常丰富，因此，在气象观测、摄影、球幕电影院、肠胃及呼吸道内窥摄像、国防现代战争等方面有广泛的应用。但是，在实际操作中，鱼眼图像被映射到平面上时，会产生严重的失真。目前的失真校正处理，大多是针对单幅鱼眼图像进行的，处理时没有考虑多幅图像拼接时，摄像头拍摄景物的角度问题。由于是多个车载摄像头，因此，每幅鱼眼图像的光心、焦距、角度等都有不同的变化。若只是单一的将其中两幅鱼眼图像直接采用失真校正处理后得到的透视平面图像做图像拼接，则原本垂直的线条依然存在不同角度的倾斜，重叠区域的图像效果不能完全重合，对全景拼接图的质量产生严重影响。 

鱼眼镜头具有超宽视角特性，只需要很少的镜头就能够产生全景视图。鱼眼摄像头往往覆盖的角度近似于180度的整个半球，鱼眼镜头成像是将正面的半球景象映射到平面上。透视映射无法将半球区域映射到一个有限的图像平面中。因此鱼眼图像会产生严重的径向失真，图像的边沿被严重拉伸，造成比较夸张地形变，影响拼接效果。基于鱼眼镜头固有的投影原理，常用于广角图像矫正的图像针孔模型对于鱼眼镜头的矫正并不理想。 

发明内容

本发明的目的就是针对现有技术中多幅鱼眼图像拼接后校正中存在的问题，提供一种鱼眼图像拼接中鱼眼镜头垂直映射图像几何校正方法。 

本发明方法公开了一种应用于呈现汽车周围360度全景图像的鱼眼镜头拼接的镜头垂直映射图像的几何校正方法。该方法通过四个车载鱼眼镜头分别获取车身四个方向的近距离场景，通过图像映射、俯仰角估计，将四个鱼眼镜头的图像统一到地面坐标系上，并通过几何校正为视觉一致的第三视角垂直俯视图。 

本发明方法包括以下步骤： 

步骤(1).将分别朝向四个方向的四个鱼眼镜头获取的四个鱼眼图像 、、、根据鱼眼镜头成像过程的逆过程映射为透视平面图像、、、。

鱼眼镜头成像过程的逆过程映射方法为成熟的现有技术。 

步骤(2).采用尺度不变特征变换算法，分别求出相邻透视平面图像和中的重叠区域内相匹配的像素点，得到透视平面图像和对应的重叠区域透视平面图像和。 

尺度不变特征变换算法采用成熟的现有方法，如sift算法。 

步骤(3).按获取鱼眼图像的鱼眼镜头的预设俯仰角度，找到对应的重叠区域透视平面图像中的每个像素点(,)在球面坐标上对应的映射像素点(、、)，对映射像素点(、、)进行俯仰变换映射处理，得到对应的修正像素点(、、)，这些修正像素点即构成地面坐标球面图像，俯仰变换映射处理的公式为 

；

所述的俯仰角度为鱼眼镜头安装的预设角度，是相对于水平方向向下的偏差角度；

按获取鱼眼图像的鱼眼镜头的预设俯仰角度，按上述方法处理透视平面图像，得到地面坐标球面图像；

步骤(4).对地面坐标球面图像中的修正像素点(、、)进行失真校正映射，得到透视平面上的角度修正像素点(,)，构成修正地面坐标平面图像，失真校正映射即将球面坐标映射到平面坐标；

按上述方法处理地面坐标球面图像，得到修正地面坐标平面图像；

在修正地面坐标平面图像和中，任意选取两对匹配像素点，计算拼接夹角：