[发明专利]一种基于多步校正的鱼眼图像校正方法

说明书

技术领域

本发明涉及图像处理和机器视觉领域，具体涉及一种基于多步校正的鱼眼图像校正方法。

背景技术

鱼眼镜头是一种特殊的广角镜头，其视场角接近、等于甚至大于180度，能将半球空域甚至是超半球空域的物体成像在像面有限的范围内。从光学设计的角度看，鱼眼镜头所采用的透镜具有很大的球面弧度，并且距离成像平面更近。这种特殊的结构特点和成像特点，一方面使得鱼眼相机可以获得很大视野范围，在机器人导航、视频会议、实时监控、全景摄影和天文观测等需要较大视场的现实场景中得以广泛应用；另一方面，由于引入了很大的桶形畸变，使得鱼眼镜头在成像模型的构建、理论计算以及畸变校正等方面与常规镜头有着显著的不同。

目前，计算机视觉领域在摄像头的成像原理建模方面还是普遍使用线性针孔模型，但是该模型并不足以刻画鱼眼镜头的成像原理。鱼眼镜头光学系统在引入了强烈的光学畸变的同时也带来了大范围的场景信息，为了能够有效利用这些大畸变图像中的透视投影信息，需要将畸变图像校正为理想的线性透视投影图像，即将鱼眼镜头的成像模型映射到线性针孔模型，反映在图像上，便是需要寻找鱼眼图像和它所对应的常规图像之间像素点对的映射关系。虽然鱼眼镜头的设计和制造遵循一定的数学模型，但是由于现实中存在的许多不可预知的因素，比如镜头的弧度偏差、装配误差等，导致实际的成像过程与制造镜头所遵循的数学模型之间存在着一定的差异，有时候这种差异甚至是巨大的。因此针对不同特点的鱼眼镜头和不同的应用场景，许多学者提出了各种不同的方法来校正鱼眼图像，力图获得清晰的目标图像，以尽可能多的获取有效信息。

鱼眼图像校正本质上是图像的空间变换处理，最终目的是建立鱼眼图像和校正图像中对应像素点对位置关系的函数，过程是图像像素点空间位置的再分布。随着鱼眼镜头的广泛使用，关于鱼眼校正的新算法不断出现，这些算法总体上可以分为三大类，第一类是通过曲线拟合的方式寻找目标函数，第二类是通过球面透视投影等几何约束寻找目标函数，第三类则是通过神经网络等的训练建立自适应的目标函数。从目前的工程实际来看，这些算法虽然能够在不同的程度上实现畸变校正，但是对于鱼眼图像等大畸变图像的校正往往是局部性的，也就是说存在着图像边缘信息丢失，图像局部放大等缺点，这违背了人们使用鱼眼镜头的初衷，一定程度上削弱了广角镜头的优势。

发明内容

针对现有技术存在的不足，本发明提供一种基于多步校正的鱼眼图像校正方法。

本发明的技术方案是：

一种基于多步校正的鱼眼图像校正方法，包括以下步骤：

步骤1、对鱼眼摄像机的镜头进行标定，获取摄像机镜头的内参矩阵，包括鱼眼图像畸变中心坐标、像素尺寸因子和相机焦距；

步骤2、建立基于多项式模型的鱼眼图像尺寸缩放因子，该尺寸缩放因子用来描述鱼眼图像中的像素点到鱼眼图像畸变中心的距离与校正图像中的像素点与校正图像中心的距离的线性关系，根据不同角度下拍摄的棋盘格鱼眼图像中棋盘角点的坐标，采用张正友标定法得到多项式模型的多项式系数，进而得到鱼眼图像尺寸缩放因子；

步骤3、利用鱼眼图像尺寸缩放因子，对待校正的鱼眼图像进行校正，以鱼眼图像畸变中心坐标作为坐标原点，对鱼眼图像中每一个像素点的横坐标、纵坐标分别乘以鱼眼图像尺寸缩放因子，得到各像素点在校正图像中的坐标，然后将得到的各坐标对应的像素点填充得到各坐标值处，得到第一次校正图像；

步骤4、采用邻域插值法对第一次校正图像进行插值处理；

步骤5、建立基于向后映射法的除法模型，该模型用来描述第一次校正图像中的像素点到第一次校正图像中心的距离与校正图像中的像素点与校正图像中心的距离的线性关系，该模型的输入为第一次校正图像中像素点的坐标，该模型的输出为基于向后映射法的除法模型的校正算子；

步骤6、利用基于向后映射法的除法模型，对插值处理后的第一次校正图像进行第二次校正，得到第二次校正图像；

步骤6-1、建立与第一次校正图像大小相同的空白图像；

步骤6-2、利用基于向后映射法的除法模型，计算出校正算子；

步骤6-3、在空白图像中以第一次校正图像中心坐标为坐标原点，对每一个像素点的横坐标、纵坐标均乘以校正算子，得到各像素点要填充的像素坐标值；

步骤6-4、利用步骤6-3得到的各像素点要填充的像素坐标值，从插值处理后的第一次校正图像中找到对应的像素值并填充到空白图像中，得到第二次校正图像；