[发明专利]基于改进径向畸变校正的球状全景拼接方法

权利要求书

1.一种基于改进径向畸变校正的球状全景拼接方法，其特征是，通过改进径向畸变校正消除普通畸变校正造成的图像损失，然后通过球状拼接算法完成全景拼接，最后基于加权平均法和光均衡融合算法消除重复区域干扰及不同摄像头的光线差异，实现高分辨率以及广域拍摄。

2.如权利要求1所述的基于改进径向畸变校正的球状全景拼接方法，其特征是，一个实例中进一步地具体步骤是，

(1)离线相机标定步骤：利用光学黑白格相机标定板对8个摄像头分别进行标定，获取每一个光心位置、焦距、像素长宽比、畸变系数和视场角参数；

(2)视频采集模块：视频采集模块基于镜头和传感器模组实现多路高分辨率图像同步采集及多路高分辨率视频实时解码；

(3)基于改进径向畸变校正步骤：本模块基于每个相机的标定参数实现图像畸变校正，传统径向畸变校正算法公式如式(1)所示。

u＝u^s+(u^s-u₀)[k₁(x²+y²)+k₂(x²+y²)²]

v＝v^s+(v^s-v₀)[k₁(x²+y²)+k₂(x²+y²)²] 式(1)

其中，(u,v)代表矫正畸变后的像素坐标，(x^s,v^s)代表实际径向畸变的情况下图像的像素坐标，(u₀,v₀)代表离线相机标定获得的相机主点坐标，k₁，k₂代表相机前两阶畸变参数，(x,y)代表理想无畸变时的连续图像坐标，采用改进径向畸变校正模块，公式如式(2)所示：

u＝u^s+(u^s-u₀*d)[k₁(x²+y²)+k₂(x²+y²)²]

v＝v^s+(v^s-v₀*d)[k₁(x²+y²)+k₂(x²+y²)²] 式(2)

具体实施方式如下：

首先，基于尺度因子建立新的图像矩阵，新建立的图像矩阵除左上角四分之一面积为源图像像素值，其他范围为全零矩阵，新图像长宽为原始图像的2倍；然后将待校正图像平移至新图像中心区域，然后进行图像径向畸变校正，校正完毕后获取图像中的角点像素位置，提取矩形区域作为校正后的图像，零像素区域通过重叠区域融合模块去除，最终实现在无边缘损失的情况下的图像校正功能；

(4)全景拼接模块：本模块将矫正后的图像通过已知拍摄信息，来确定多幅图像的匹配连接集，将矫正后图像进行形变、投影，在投影的过程中,各摄像机的局部图像将投影到一个统一的球面上，使得图像具有一定的深度感，在视点变化时能够部分地反映整个视点空间，给观测者较为强烈的三维沉浸感，使用球面坐标系进行拼接时,也即是将每个图像点变换为球面上一点，映射公式如式(3)所示，

x′=s tan-1xf]]>

其中，(x,y)代表图像的平面坐标，(x′,y′)代表球面展开平面坐标，f表示相机焦距。全景拍摄时相机固定，其可看作只发生水平旋转、竖直旋转，不发生绕光轴旋转，因此相机X轴通常会保持在一个平面，这一平面的法向u就作为一个理想的主轴方向，得到的主轴方向u与所有图像坐标系X轴垂直，因此得式(4)，i表示摄像头序号，表示第i个摄像头所在平面转置矩阵，T表示转置；

写成最小二乘形式得式5：

这是一个线性最小二乘问题,最优解u满足式6：

▿Σi=18||XiTu||=0]]>

u为3×3矩阵最小特征值对应的特征向量，以u作为主轴方向确定球面坐标系，根据相机参数将所有图像变换到球面上即完成拼接，获得全景图；

(5)拼接融合模块：本模块首先基于重叠区域坐标位置截取消除校正带来的零像素区域，然后基于图像加权平均和光均衡策略实现拼接区域融合，图像加权平均公式如式(7)所示：

g(x+i,y)＝af₁(x+i,y)+(1-a)f₂(x+i,y)式(7)

其中，f₁(x,y)和f₂(x,y)分别表示左右两幅图像的像素值，g(x,y)表示重叠区域融合后的像素值，i表示重合区域的第i个像素，设该重合长度为L，则0≤i≤L。