[发明专利]一种基于图像拼接的全景凝视相机空间标定方法

摘要

本发明公开了一种基于图像拼接的全景凝视相机空间标定方法，首先，建立全景高速球中PTZ摄像机的旋转模型；其次，基于PTZ摄像机拍摄的包含场景所有信息的多张PTZ图像拼接获得全景图像；再次，基于全景图像，分别建立其像素点与PTZ摄像机运动参数之间的映射关系H₂，以及其像素点与鱼眼图像中像素点之间的映射关系H₁；最后，基于映射关系H₁和H₂，建立鱼眼图像中像素点与PTZ摄像机运动参数之间的映射关系H，从而实现了全景凝视相机的空间标定。所述方法能够准确控制全景凝视相机中PTZ摄像机的水平偏转角和垂直偏转角，使得选取的鱼眼摄像机拍摄得到的鱼眼图像中的感兴趣监控位置置于PTZ摄像机拍摄的图像的中心，从而实现精确定位监控。

主权项

一种基于图像拼接的全景凝视相机空间标定方法，其特征在于，包括如下步骤：步骤1)建立PTZ摄像机的旋转模型；首先，建立PTZ摄像机坐标系O‑XYZ，其中，O为PTZ摄像机的光心，PTZ摄像机的主点为P₀，则OP₀为PTZ摄像机的光轴，假设P₀点的偏航角和俯仰角分别为和θ₀，则P₀点的坐标值(x₀,y₀,z₀)计算如下：其中，f为PTZ摄像机的焦距；然后，建立PTZ图像坐标系O'‑UV，其中，O'为PTZ图像的中心点，O'U为PTZ图像的水平方向坐标轴，O'V为PTZ图像的垂直方向坐标轴；对于PTZ图像上任意一个像点P，在已知PTZ摄像机的运动参数为的情况下，其对应于PTZ摄像机坐标系中的坐标值(x_P,y_P,z_P)计算如下：其中，同时，像点P在图像坐标系中的坐标值(u_P,v_P)通过下述PTZ摄像机旋转模型公式得出：步骤2)基于PTZ摄像机拍摄的多幅PTZ图像拼接获得全景图像；首先，使PTZ摄像机在一个固定的缩放倍数下从左自右、从上自下依次拍摄获得包含场景所有信息的多幅PTZ图像；然后，建立初始空白的拼接全景图像I_joint；全景图像的拼接过程分为三个步骤：(1)根据原始映射关系得到鱼眼图像中像素点Q(u_Q,v_Q)对应的PTZ摄像机的运动参数其在PTZ图像中对应的像素点记为Q'；(2)包含像点Q'的PTZ图像存在多张，选取距离最近的PTZ图像，最近距离计算如下：其中，i表示包含像点Q'的第i张PTZ图像，假设共有N张包含像点Q'的PTZ图像，即为对应PTZ图像的运动参数；在得到距离最近的PTZ图像的同时，其对应的PTZ摄像机的运动参数也就得到了，然后基于PTZ摄像机旋转模型公式(3)计算得到距离最近的PTZ图像中像素点Q'的坐标值(u_Q',v_Q')；(3)将像素点Q'(u_Q',v_Q')映射到初始空白的拼接全景图像I_joint的(u_Q,v_Q)位置处，记为Q''；对鱼眼图像中的每个像素点都执行上述三个操作，即将鱼眼图像中所有像素点所对应的PTZ图像中的像素点都映射到了拼接全景图像中，即完成了拼接全景图像的拼接处理；步骤3)建立拼接全景图像中像素点与PTZ摄像机运动参数之间的映射关系H₂；当全景图像拼接完成后，需要建立拼接全景图像中所有像素点与PTZ摄像机的运动参数之间的映射关系H₂，由步骤2)可知鱼眼图像中的像素点Q所对应的PTZ摄像机的运动参数为则拼接全景图像中的像素点Q''所对应的PTZ摄像机的运动参数也为因此，拼接全景图像与PTZ摄像机的运动参数之间的映射关系H₂为原始映射关系，即有：其中，(x_joint,y_joint)指的是拼接全景图像I_joint中的像素点坐标值，为其对应的PTZ摄像机的运动参数；步骤4)采用模板匹配方法建立鱼眼摄像机拍摄的鱼眼图像中的像素点与拼接全景图像中的像素点之间的映射关系H₁，为：(x_joint,y_joint)＝H₁(u_pano,v_pano)         (6)其中，(u_pano,v_pano)指的是鱼眼图像I_pano中的像素点坐标值，(x_joint,y_joint)为其对应的拼接全景图像I_joint中的像素点坐标值；步骤5)建立鱼眼摄像机拍摄的鱼眼图像中的像素点与PTZ摄像机运动参数之间的映射关系H；经过上述步骤，已经找到了拼接全景图像中像素点与PTZ摄像机运动参数之间的映射关系H₂，以及鱼眼图像中的像素点与拼接全景图像中的像素点之间的映射关系H₁，则最终可得鱼眼图像中的像素点与PTZ摄像机运动参数之间的映射关系H如下：