[发明专利]一种3D模型与二维图像的虚实配准方法

说明书

技术领域

本发明涉及计算机应用技术和计算机视觉中的增强现实领域，具体涉及一种3D模型与二维图像的虚实配准方法。

背景技术

增强现实是指通过将计算机生成的虚拟场景、文字注释等信息实时、精确地叠加到使用者所观察到的真实世界景象中，对人的视觉系统进行延伸和扩充的一种技术。如何实时、精确地计算用户视点相对于真实世界的位置、姿态信息，并利用这些信息将虚拟场景正确地叠加到它所应处的位置上，即虚实配准，是增强现实系统中的关键问题之一。

所以，虚实配准在增强现实中有极大的应用需求。同样，在三维空间进行二维图像与三维图形的虚实配准技术，也有着广泛的应用前景，但是它没有通用成熟配准框架。

在三维空间进行虚实配准，常用的技术框架是通过多幅图片形成的多目视觉系统得到场景的稠密点云，通过稠密点云提取场景的三维几何特征，如平面、直线、特征点、曲线等，再与3D模型中相应的特征进行配准。这种方法的缺点一是生成稠密点云需要的图片多，一般要几十张图片，而在机场应用场景中难以布置如此多指向同一场景的摄像机；二是计算速度慢，根据情况不同，至少在10分钟以上。工程应用中，稠密点云常采用激光雷达高速测量的方法，一分钟可测得上百万的点云数据，但是激光雷达成本高，它主要用于场景3D模型建模，难与视频结合的虚实配准结合使用。并且，现有的二三维配准研究中，基本上都要求用户手动设置初始的配准参数，即模型的初始视角位置，然后再优化求解精确配准位置，如果不手动设置视角初始值，配准问题将变得无法求解。

目前的解决方法，还有的需要预先标定相机。预标定方法可以提前测量摄像机所有的内参数，但在有的应用环境中（如：机场，山区等）较难测量实际标志物的三维世界坐标，即摄像机的外参数，尤其是摄像机旋转参数；针对可变焦距可旋转的PTZ（Pan-Tilt-Zoom）相机就无法应用。

发明内容

本发明要解决的技术问题是：为了解决二维图像与三维图形配准的虚实融合中计算效率低和需要预先标定相机内参数的问题，提供一种3D模型与二维可见光图像配准方法。此方法不需要预标定相机，而且计算时间在两三分钟以内，可以达到实用的要求。

本发明解决其技术问题所采用的技术方案是：一种3D模型与二维图像配准方法，它通过有多视几何关系的多幅图像，用估计加优化的方法求解多个摄像机内参数（焦距）和外参数，外参数包括摄像机视点位置及旋转方向；再变换三维恢复坐标下的摄像机视点到3D模型坐标的视点，这个3D模型是根据真实场景预先建好的；最后渲染显示三维模型的二维虚图，它是与二维图像是一致的。

本发明的创新点在于：1）不需要像以往方法一样预先标定相机的内参数；2）不需要其它激光雷达等复杂设备进行场景的三维测量，也不需要限制相机的个数，只需要简单测量摄像机的位置，而摄像机的焦距和旋转方向靠多视几何关系自动计算出来；3）提出了一个自动配准的方法解决3D模型与二维图像的配准。

方法具体步骤是：

1）通过有多视几何关系的多幅图像求解摄像机内参数和外参数。

1-1)提取SIFT特征描述（它具有尺度和旋转不变性）。

1-2）再用KD-树进行特征点匹配。

1-3）采用RANSAC框架通过8点法估计基础矩阵F，同时去掉了噪声匹配点对。

1-4) 选择共有特征点最多的两幅图像，再通过上步得到的基本矩阵F，按估计的摄像机参数算出本质矩阵E，计算出第一对摄像机之间的相对位置，得到摄像机位置旋转和平移参数。

1-5) 初始化摄像机内参数，将上述外参数以及内参数、所有特征点的投影坐标和世界坐标作为初始值，用稀疏Levenberg-Marquardt方法进行集束优化。

1-6) 再选择另一幅图片，根据已算出的空间特征点及特征点跟踪关系用RANSAC方法求解此摄像机投影矩阵，得到摄像机内外参数初始值，将其加入到优化框架下，转步骤1-5）继续优化。

1-7) 反复执行1-6）直到每一个摄像机（所有的图片）处理完毕，得到所有摄像机的外参数（多幅图片视点的旋转平移的相对位置）

2）变换三维重建坐标下的摄像机视点到3D模型坐标的视点。

根据预先好的测量摄像机的经纬度坐标找到多个视点的相对位置到3D模型的相对变换关系（旋转、平移、缩放），可以将视点位置变换到3D模型中。我们采用的方法是经纬度转换法，它分为2个步骤：

2-1) 将测量的摄像机经纬度坐标转换成3D模型坐标系中的XYZ坐标。