[发明专利]一种基于双目摄像机的机场场面三维全景监视方法

摘要

一种基于双目摄像机的机场场面三维全景监视方法，它通过在机场场面上安装双目摄像机生成一个统一的三维全局机场场面态势监视场景，使机场场面管制人员对机场场面态势有更直观清晰的把握。首先要用双目摄像机覆盖需要监视的场面范围，并将这些摄像机进行预标定，根据双目视觉原理监视恢复出每个双目摄像机的视频帧图像对应的立体稠密点云，再将这些点去统一到三维世界坐标下，融合形成全景监视场景，最后可以将所有点云重建为表面三维模型，即网格(Mesh)化处理。在具体实现中，本方法采用一些特殊的设置处理，以提高本发明的计算效率和实用效果。

主权项

1.一种基于双目摄像机的机场场面三维全景监视方法，其特征是具体步骤如下：步骤一：摄像机标定，针对每一对双目摄像机中的每个摄像机进行预先标定，得到摄像机内参数K_i1和K_i2及畸变参数；步骤二：视频采集，将摄像机安装到机场相应的监视点位上，获得相应的视频；安装时，需测量两个摄像机之间的距离d_i;步骤三：图像特征提取，对每对摄像机获得的图像I_i1和I_i2计算其相应的特征点，计算方法采用BRISK(Binary Robust Invariant Scalable Key‑points)，获得相应图像特征对应点，并根据两幅图像的特征对应计算出相应的基本矩阵F(Fundamental Matrix)，从而推算出两幅图像对应的本质矩阵，从而计算出两幅图像的投影矩阵（Projection Matrix）P_i1和P_i2；步骤四：立体匹配，步骤三得到的特征点是稀疏特征点对应关系，这里要稠密特征点的对应关系才能用于机场场面全景监视；首先要进行图像校正，将原图像极线（Epipolar）调成水平方向的线，得到由I_i1和I_i2校正后的图像I’_i1和I’_i2；同时，还要进行运动目标的检测，如果在完成初始化后检测出来此像素没有发生变化及运动，则不再进行立体匹配和后续的三维重建，而是直接进入到后处理的表面重建阶段；视频运动目标的检测使用的方法是混合高斯模型的拟合检测方法；然后针对I’_i1中的位于位置(x, y)的像素点I’_i1 (x, y)，沿着此点在I’_i2对应的相应的水平极线上搜索最相似的像素点，假设其位于I’_i2上位置(x’, y)，记为I’_i2 (x’, y)；这里采用的相似性准则是标准的归一化互相关NCC (Normalized Cross Correlation)，匹配策略为LRC（Left‑right Checking），即找到I’_i2 (x’, y)后，还要由I’_i2 (x’, y)在I’_i1中的相应极线上进行搜索并发现相应的对应点还是I’_i1 (x, y)，才确认二者是对应的匹配点；步骤五：三维重建，设图像I_i1和I_i2 上一对匹配的像素点坐标位置是(x₁, y₁)和 (x₂, y₂)，根据投影公式有[x₁, y₁, 1]=P_i1X_j和[x₂, y₂, 1]=P_i2X_j两个公式可以解出I_i1 (x₁, y₁)和I_i2 (x₂, y₂)这对匹配像素对共同对应的在真实世界中的三维坐标点X_j的值；解出所有像素匹配对应的点即可得到所有像素的三维坐标X，即稠密点云；步骤六：统一点云坐标，当所有的摄像机对获得了稠密点云后，应把它们全部放在一个世界坐标系下组成一个统一的全局点云；步骤七：基于点云的表面重建（Surface Reconstruction），即网格(Mesh)化处理。