[发明专利]一种基于2D视觉图像的三维重建方法

说明书

本发明公开了一种基于2D视觉图像的三维重建方法，包括：利用相机采集序列图像；对任一图像进行特征点提取，并求得任一图像对应的描述子；根据图像的描述子之间的汉明距离并确定匹配对；根据图像的匹配对上的特征点求得图像帧的旋转R和平移t；根据相邻帧的图像的旋转R和平移t，求得匹配对的重投影误差，并优化旋转R和平移t；将优化后的旋转R和平移t作为输入，并提取图像帧边缘点并最优化光度误差，从而匹配边缘点；对匹配上的边缘点进行三角测量从而得到稠密三维点云，以实现三维重建。通过上述方案，本发明具有逻辑简单、重建可靠、适应能力强等优点，在图像处理技术领域具有很高的实用价值和推广价值。

技术领域

本发明涉及图像处理技术领域，尤其是一种基于2D视觉图像的三维重建方法。

背景技术

三维重建是计算机视觉领域的核心研究内容之一，输入为视觉图像或激光点云等传感器信息，其通过获取这些连续图像或激光点云的潜在信息，根据算法模型，最终输出目标区域的三维地图和传感器行径轨迹。

目前，现有技术中已经存在很多有效的三维重建算法，但大部分是通过激光雷达和深度相机获取的，但由于传感器体积和成本的限制，很多情况下只能使用普通的2D相机获取图像信息，而现有的基于2D视觉图像的三维重建算法得到的点云地图都过于稀疏或适应性不强导致地图不连续。因此，如何将使用2D视觉图像生成稠密的三维地图且对环境的适应性较强仍是一大研究挑战，其研究成果也具有很高的应用价值。

现有技术中也有三维重建相关算法，如专利申请号为“201711283596.0”、名称为“一种面向深度相机的高精度三维重建方法和系统”的中国发明专利，其根据深度相机从不同角度获取真实场景的多对图像，每对图像包括彩色图像和深度图像；根据特征点检测算法获取各彩色图像上的二维特征点和特征描述子，计算任意两个彩色图像分别对应的特征描述子之间的置信度，获取特征匹配关系；根据各特征匹配关系及对应的深度图像，获取对应的三维图像，将二维特征点反投影到相机坐标系下，获取三维图像上的三维点；根据二维特征点和三维点计算摄像机的绝对姿态；根据摄像机的绝对姿态，将三维点映射到所述相机坐标系下，获取场景的初始三维模型。其输入为深度相机，其缺陷是输入必须使用深度相机，若使用普通2D视觉图像则无法完成三维重建。而深度相机成本较普通2D相机贵很多，且对室外场景适应性不强。

另外，如专利申请号“201910267055.1”、名称为“一种基于点线特征快速融合的重建方法”的中国发明专利，其包含以下步骤。视频预处理，将视频截取为图像并进行焦距提取，下采样等预处理，以降低重建复杂度；点特征匹配，采用尺度不变特征变换进行点特征的提取和匹配；线特征由粗到细快速匹配，使用线段分割检测器特征进行线特征的提取和描述，通过对线段描述子进行暴力匹配、运动估计、汉明距离阈值判断和长度筛选四个步骤，获得图像线段特征匹配对；点线特征融合，将最终的线段特征匹配对转换为像素点，并与已经存在的点特征像素坐标位置进行分析，删除重复点后融合线段像素点与点特征；计算相机外姿和三维点云，使用最终图像点线特征匹配对，计算本质矩阵，求解相机外姿，三角化求解三维点云，并利用光束平差法优化结果。其使用的仍然是特征点法为主，产生的是稀疏重建，其缺陷在于只能得到稀疏的点云，特征点和线段的特征的个数较少，重建不准确。

不仅如此，如专利申请号“201910799527.8”、名称为“基于室内移动目标背景修复的三维重建方法”的中国发明专利，其具体步骤为：(1)获取待重建室内场景的RGB图像序列和深度图像序列；(2)获取每幅RGB图像的目标区域；(3)对RGB图像序列中相邻帧进行特征匹配；(4)计算拍摄相邻帧时深度相机位姿变换的旋转矩阵和平移向量；(5)确定每幅RGB图像中的移动目标所在区域；(6)对每幅RGB图像的移动目标区域中的移动目标所遮挡的静态背景进行修复；(7)获取三维重建结果。其主要针对的是移动背景的修复；其缺陷在于基于现有的三维重建方法上对于动态的物体进行修复，而不是一个可靠的三维重建方法，文中采用的仍是现有的只能得到稀疏点云的特征点法。

因此，急需要提出一种逻辑简单、重建可靠的基于2D视觉图像的三维重建方法。

发明内容