[发明专利]一种基于多幅未标定图像的三维点云重建方法

权利要求书

1.一种基于多幅未标定图像的三维点云重建方法，其特征在于，所述基于多幅未标定图像的三维点云重建方法使用相机、手机获取物体在不同角度拍摄的图像序列作为输入集合；通过特征提取和匹配得到图像的特征匹配点对，对其进行稠密扩散处理；根据稠密扩散方法，选择候选图像的特征点作为种子点向其周围邻域进行匹配扩散并过滤，获得稠密匹配点对；对相机进行标定，结合匹配点对得到其内外参数；根据相机参数及匹配点对恢复出三维模型点；采用基于patch的稠密扩散方法进行重建，选取种子模型点生成初始patch，并在其网格邻域内扩散得到稠密的patch；根据约束条件过滤误差patch，获得精确的稠密三维点云模型；

所述稠密扩散方法具体包括：

对参考图的每个特征点f，根据极线约束在候选图像中找到对应的候选匹配点f’；然后利用稠密扩散方法，选择零均值归一化互相关系数ZNCC作为目标函数，计算匹配点对的ZNCC值，并按其大小排序：

其中，x是图像特征点f在图像中对应的坐标信息，x’是图像特征点f’在图像中对应的坐标信息；I(x)和I(x′)表示x坐标和x’坐标的像素亮度；和表示以x为中心的图像窗口和以x’为中心的图像窗口W的平均像素亮度；

选取大于阈值μ1的特征点作为种子点进行邻域扩散，选取大于阈值μ2的特征点作为储备匹配点，μ1μ2；对于参考图像的所有匹配点，在候选图像中心固定窗口大小建立一对多的匹配；对于参考图像的点，匹配其他图像的点，建立窗口内所有点的混合匹配；在满足视差梯度约束和置信度约束的前提下，计算扩散匹配点对的ZNCC，筛选大于阈值μ3的扩散点作为种子点进行二次扩散，筛选大于阈值μ4的扩散点作为储备匹配点，μ3μ4；

假设u’和u是一对图像匹配点对，x’与x是相邻的另一图像匹配点对，视差梯度约束公式为：

||(u′-u)-(x′-x)||_∞≤ε

其中，ε是视差梯度的阈值；视差梯度约束减少了图像匹配的模糊性；

置信度约束的公式为：

s(x)＝max{|I(x+Δ)-I(x)|,Δ∈{(1,0),(-1,0),(0,1),(0,-1)}}；

采用置信度约束可以提高匹配扩散的可靠性，获得稠密匹配点对。

2.如权利要求1所述的基于多幅未标定图像的三维点云重建方法，其特征在于，对相机标进行标定的过程是根据相机成像原理计算相机内部参数；根据图像序列的特征点和匹配，选取两幅输入图像作为基准，计算基准图像点对的基础矩阵F，其中F满足方程x′Fx＝0，x′和x是一对图像匹配点；估计基准图像对的内参矩阵初值K′和K，计算图像点对的本质矩阵并提取旋转和平移分量；已知相机的内外参数以及特征匹配点对，利用三角测量求出与特征点对应的三维模型点。

3.如权利要求1所述的基于多幅未标定图像的三维点云重建方法，其特征在于，使用基于patch的稠密重建算法，以稠密扩散得到的三维模型点为候选种子点，生成初始化patch，用基于patch的稠密扩散方法重建三维模型点云；patch是以三维模型点为中心，以该点指向参考图像相机原点的向量为法向量的面片；以patch的法向量和光线夹角、以及patch到参考图像和候选图像投影之间的相关系数为约束条件，筛选满足条件的patch作为扩散的种子patch；对其在网格邻域内进行扩散，对于扩散的patch，使用几何一致性和图像灰度一致性约束进行筛选，生成稠密的三维点云模型。

4.一种基于多幅未标定图像的三维点云重建系统，用来执行如权利要求1～3任意一项所述的基于多幅未标定图像的三维点云重建方法。