[发明专利]一种基于车载鱼眼相机的全景影像拼接方法及系统

说明书

本发明公开了一种基于车载鱼眼相机的全景影像拼接方法及系统，先逐像素解算全景像素坐标系中的像点P的坐标对应的全景球面坐标P_O，再计算所述全景球面坐标P_O对应的相机平面坐标P_C，然后计算所述相机平面坐标P_C对应的原始鱼眼影像坐标P_F，最后求得所述原始鱼眼影像坐标P_F的灰度值，并将所述灰度值分别对应地赋值给全景影像上的像元素P的灰度，从而得到全景影像。采用本发明进行全景图像的拼接，全景影像画面清晰、成像质量显著提高，以这一技术为基础，将能显著改善街景地图的用户体验、为数据生产厂家带来更大的经济效益。

技术领域

本发明涉及摄影测量学技术领域，特别是涉及一种适用于车载多视点组合式鱼眼相机的全景影像拼接方法及系统。

背景技术

随着GIS技术、计算机技术、网络通信技术的飞速发展，网上电子地图已由传统的单一的二维矢量地图发展为三维实景地图的新模式。街景地图作为一种全新的实景地图服务模式，以其能为用户提供城市、街道或其他环境的360度全景影像，给用户带来身临其境的感受，而得到百度、谷歌、腾讯等多家互联网企业和地图厂商的青睐，争相抢占这一市场。

目前，街景地图的采集设备主要通过多台相机进行组合，分别拍摄获取不同角度下的图像，然后经过拼接、融合，得到一幅360°全景影像。该采集系统的相机数目随着单台相机的视角增大而减少，而鱼眼镜头拥有接近180°的超大视角，可大幅减少采集系统所需搭载的相机数量，降低系统成本、提高数据处理效率，因此基于车载平台对多台鱼眼相机进行集成，成为目前街景地图数据获取的主要方式。然而，受制于特殊的光学系统和成像模式，鱼眼相机采集的图像往往伴随有严重的变形失真，如何对鱼眼图像进行校正、拼接，获取全景影像数据，成为困扰各大数据生产产商的一大问题。

传统的影像拼接技术，主要是在对影像进行畸变纠正的基础上，基于各影像间的相对位置与姿态关系，进行重投影，获得拼接后的大范围影像。该方法描述了从原始影像逐像素求解拼接后影像上对应像点坐标的过程，具有求解过程简单、数学模型直观等优点，称为“直接法”影像拼接。

然而，由于采用了非线性镜头，鱼眼相机所拍摄的影像往往带有非常严重的图像失真和变形，采用传统畸变纠正和重投影方法进行拼接，将造成有的像元素内出现“空白”(无对应原始像点)，而有的像元素可能出现重复(对应多个原始像点)的问题，直接导致所得全景影像存在大量“黑洞”。

发明内容

针对上述问题，本专利对基于鱼眼相机的全景影像拼接模型进行推演，采用间接法进行全景影像拼接，即从拼接后全景影像上的像点坐标出发逐像素反求其在原始影像上对应的像点坐标，并结合灰度内插技术，解决基于“直接法”影像进行拼接造成的全景影像“黑洞”问题。

根据本发明的其中一方面，本发明解决其技术问题所采用的技术方案是：构造一种基于车载鱼眼相机的全景影像拼接方法，包括如下步骤：

S1、逐像素解算全景像素坐标系中的像点P的坐标对应的全景球面坐标P_O；

S2、计算所述全景球面坐标P_O对应的相机平面坐标P_C；

S3、计算所述相机平面坐标P_C对应的原始鱼眼影像坐标P_F；

S4、求得所述原始鱼眼影像坐标P_F的灰度值，并将所述灰度值分别对应地赋值给全景影像上的像元素P的灰度，从而得到全景影像。

进一步地，在本发明的基于车载鱼眼相机的全景影像拼接方法中，步骤S1中，对全景影像坐标系上的任意一点P(dstx,dsty)，其在全景球上的对应坐标P_O通过球面上的点与X轴的夹角与XOY平面的夹角θ来转换得到，转换关系如下：