[发明专利]基于逆向多项式模型的鱼眼图像畸变校正方法

说明书

技术领域

本发明涉及图像处理和机器视觉领域，具体涉及一种基于逆向多项式模型的鱼眼图像畸变校正方法。

背景技术

由于具有大视场、短焦距等优点，鱼眼镜头可用于扩展普通针孔相机的视野范围。在机器人导航、视频会议、监视和虚拟现实等诸多计算机视觉领域，都需要使用具有较大视场的广角或鱼眼摄像机。绝大多数计算机视觉领域普遍认为摄像头遵循线性针孔模型。然而，鱼眼镜头光学系统引入强烈的光学畸变，导致针孔模型的假设实际上不再成立。为了充分利用这些具有严重畸变的图像透视投影信息，需要将畸变后的图像校正为理想的线性透视投影图像。径向畸变是鱼眼镜头引入的最显著的畸变类型，在鱼眼镜头光学中体现出畸变图像的中间区域呈现出高分辨率，而在图像的边缘部分呈现图像分辨率的非线性下降。畸变校正的关键问题在于如何对鱼眼图像径向畸变进行校正。

目前对于鱼眼摄像机图像的畸变校正问题的研究主要基于传统的摄像机标定理论。鱼眼镜头标定算法是在建立鱼眼镜头畸变模型的基础上，考虑鱼眼镜头成像的主要畸变类型，尤其是径向畸变，据此建立精确的鱼眼摄像机模型并计算出相应的内参矩阵中的每个分量。摄像机标定方法主要包括照相机视觉标定、自标定以及张正友标定，都需要特制的标定模块和模板。常用的是精度高、鲁棒性强且更加灵活的张正友标定。张正友标定要求摄像机在至少两个方位上拍摄一个平面标定板，摄像机和二维平面标定板都可以自由移动，且内部参数始终保持不变。由于二维平面标定板在世界坐标系中Z=0，因此通过线性模型分析即可求解出摄像机内部参数和外部参数的优化解，然后通过最大似然估计和Levenberg-Marquardt进行非线性求精。最后采用算法简洁且实时性强的正向多项式校正模型来拟合径向畸变函数，实现鱼眼摄像机图像的畸变校正。

综上所述，鱼眼摄像机校正模型大多数采用了正向去畸变校正思路，将校正前的图像像素坐标通过校正模型转换为校正后的图像坐标。由于这种映射关系不是一一对应的，所以校正后的图像必然会导致图像的某些像素缺失，也就是空洞现象。传统的鱼眼畸变校正必然伴随着后续图像插值处理，其中包括最近邻域插值、双线性插值、双三次插值方法等等。综合来看，由于引入了插值操作，会导致算法的实时性降低，进而影响最终的校正效果。

发明内容

针对正向多项式校正算法的不足，本发明提供了基于逆向多项式模型的鱼眼图像畸变校正方法，将正向校正模型通过线性Taylor级数拟合得到了逆向多项式校正模型，通过逆向校正模型将校正后的图像坐标转换为校正前的图像坐标。实验表明这种算法有效避免了校正后图像像素缺失的现象，从而避免了后续的插值处理，减少了运算量的同时有效地提高了整个校正过程的实时性。逆项多项式校正模型在数学运算上只涉及到加法和乘法，十分有利于硬件实现。对于嵌入式系统以及场地应用场合，逆向多项式校正算法具有明显的优势。

本发明涉及基于逆向多项式模型的鱼眼图像畸变校正方法。具体地：基于确定的正向多项式校正模型和具体的正向畸变校正参数，计算出逆向校正模型的表达式和相应的畸变校正系数，最后通过最大似然估计进行非线性求精。若校正精度下降的情况，则重新进行最大似然求精，直到校正精度满足要求。

本发明的技术方案是这样实现的：首先采用张正友标定算法计算出鱼眼摄像头的内部参数和外部参数，建立鱼眼摄像头的畸变模型，在只考虑径向畸变的情况下对鱼眼摄像头建立正向多项式畸变校正模型。由于正向多项式畸变校正模型表达式无法直接求逆，因此采用Taylor级数拟合的方法建立逆向多项式校正模型。

基于逆向多项式模型的鱼眼图像畸变校正方法，包括如下步骤：

步骤一：对鱼眼摄像机进行张正友标定，获得摄像机的内参矩阵和外参矩阵中的每个分量；

步骤二：先建立正向多项式畸变校正的r_u和r_d模型，在只考虑径向畸变条件下计算正向多项式模型中的校正系数。由于r_d和r_u建立的校正模型无法直接实现图像校正，需要将它转换为校正前后图像坐标之间的关系或者是物理坐标的关系模型。为了实现坐标转换，可以做如下假设：（1）光轴严格垂直于成像平面，主点没有偏离图像中心。这样我们可以忽略离心畸变；（2）忽略切向畸变，仅考虑径向畸变。根据几何关系，容易得到校正前后以物理单位表示的坐标系下的坐标关系，然后整理得到校正前后以像素为单位的图像坐标系下的图像坐标关系。