[发明专利]一种3D模型与二维图像的虚实配准方法

摘要

本发明为了解决二维图像与三维图形配准的虚实融合中计算效率低和需要预先标定相机内参数的问题，提供一种3D模型与二维可见光图像配准算法。它通过有多视几何关系的多幅图像，根据多视几何理论，用估计加优化的方法求解多个摄像机内参数（焦距）和外参数（外参数包括摄像机视点位置及旋转方向）；再通过GPS位置变换三维恢复坐标下的摄像机视点到3D模型坐标的视点，这个3D模型是根据真实场景预先建好的；最后渲染显示三维模型的二维虚图，它是与二维图像是一致的。本方法可以将视点所观察到的三维场景（虚图）与图片配准，它只需预先测量得到摄像机位置，不需要进行摄像机的预标定，也不需要用户手动设置初始的模型对应于各幅二维图像的摄像机视角。相对传统配准方法，有较高的效率。

主权项

一种3D模型与二维图像配准方法，其特征是具体步骤如下：1）对通过有多视几何关系的多幅图像求解摄像机内参数和外参数1‑1)提取SIFT特征描述;1‑2)再用KD‑树进行特征点匹配;1‑3) 采用RANSAC框架通过8点法估计基础矩阵来去掉噪声匹配点对;1‑4) 选择共有特征点最多的两幅图像，再通过上步得到的基本矩阵F，按估计的摄像机参数算出本质矩阵E，估计一对摄像机之间的相对位置，得到摄像机位置旋转和平移参数;1‑5) 初始化摄像机内参数，将上述外参数以及内参数、所有特征点的投影坐标和世界坐标作为初始值，用稀疏Levenberg‑Marquardt方法进行集束优化;1‑6) 再选择另一幅图片，根据已算出的空间特征点及特征点跟踪关系用RANSAC方法求解此摄像机投影矩阵，得到摄像机内外参数初始值，将其加入到优化框架下，转步骤1‑5）继续优化；1‑7) 直到所有的图片处理完毕，得到所有摄像机的外参数，外参数为多幅图片视点的旋转平移的相对位置；2）变换三维重建坐标下的摄像机视点到3D模型坐标的视点根据预先测量好的摄像机的经纬度坐标找到多个视点的相对位置到3D模型的相对变换关系，变换关系为旋转、平移、缩放，将视点位置变换到3D模型中；将测量的摄像机经纬度坐标转换成模型坐标系中的坐标时，采用高斯‑克吕格投影（Gauss‑Kruger projection）；用最小二乘法求BiHbi=0中转换矩阵H的初始值，其中，bi为摄像机位置的归一化的相对三维坐标，Bi为经纬度转换后的模型坐标系中的坐标；再用Levenberg‑Marquardt非线性求得更优的转换矩阵H，在非线性迭代中H保持转换后坐标轴的正交性和比例的一致性；3）在预先生成所监视场景的3D模型中设置变换后的视点，得到相应视点下三维图形渲染显示后的二维视图，即对应二维图像的已经配准的虚像。