[发明专利]基于时变和无序多图像的四维场景建模方法

摘要

本发明涉及一种基于时变和无序多图像的四维场景建模方法，技术特征在于：利用sift算法对每幅图像自动提取特征点，每幅图像根据分辨率不同一般可提取数千至上万个特征点，对三维点集合进行分割，得到单独的建筑，计算每个建筑在图像上的深度信息，利用深度的大小进行遮挡判断。仔细观察城市的变化规律，建筑都是作为整体建成或拆除，因此以建筑作为基本单位。有益效果：利用特征描述子对图像间的特征点进行自动匹配，对原三维点模型的进一步抽象，提高了图像时间序列推导的准确性。同时将上万个三维抽象为若干个建筑大大提高了局部搜索算法的效率。

主权项

1.一种基于时变和无序多图像的四维场景建模方法，其特征在于步骤如下：步骤1：采用SIFT算法对N幅数字图像提取SIFT局部不变特征，形成N个图像特征集；步骤2：建立任意两幅图像的相似度度量Sim(Ix,Iy)=nmatchmin{nIx,nIy}*Σi=1nmatchf(i)]]>其中x＝1，...，N，y＝1，...，N，x≠y，和分别表示图像I_x和I_y的特征集大小，n_match表示匹配的特征点数目，1/min{n_A，n_B}是自适应系数项，f(i)表示第i对匹配特征的相似度值，f(i)＝d_i2/d_i1，其中d_i1和d_i2分别表示第i个特征到其最近邻特征和次近邻特征的距离；步骤3：随机取出N个图像特征集合中的任一幅图像I_x，x＝1，...N作为种子图像，以该幅图像的相似度与所有图像采用BBF方法进行试探匹配，将Sim(I_x，I_y)大于阈值α的图像建立图像集合T_k，k＝1，...，所述的α＝1；步骤4：在图像集合T中选取与种子图像I_x满足相似度Sim(I_x，I_y)在[α，β]的图像I_y，y＝1，...M，且I_y与图像集合T中的任一幅图像的相似度不大于β的图像作为新的种子图像；重复本过程，直至没有图像能够满足本条件后进行下一步；步骤5：重复步骤3～4，直至N个图像特征集合中的所有图像均已被分组；步骤6：采用最小生成树组织分组内的图像，并对组内Sim(I_x，I_y)大于α的图像采用RANSAC方法去除外点得到单应矩阵或基础矩阵；以单应矩阵或基础矩阵为向导，增加为摄像机标定准备基础数据的匹配点对；步骤7：利用SFM算法计算步骤6得到的每个图像分组的三维点集合和摄像机参数；步骤8：利用混合高斯模型和EM算法对每个图像分组的三维点集合进行分割，得到三维空间中不同位置的子集S，S＝{s_i|i∈1...k}，k表示分割得到的子集数量；步骤9：利用SFM算法中得到的三维点-图像关联矩阵对每个子集进行进一步分割，提取出每个单独的建筑；三维点-图像关联矩阵表示了各个三维点在每幅图像中的可见性；首先采用重投影方法判断每个建筑在各幅图像中是否可见，得到建筑-图像关联矩阵V，若建筑i在图像j中可见，则V_ij＝1，否则V_ij＝0，V_i为V中第i行元素，表示建筑i的可见向量；对于包含建筑b_m，b_m+1，…，b_n的子集s_i，将s_i中每个三维点x_j在三维点-图像关联矩阵的对应行向量V_j与相应建筑的可见向量分别进行相似度计算，相似度为两个向量间的欧式距离，选择距离最小的建筑序号作为该三维点的所属类别，将s_i分割为不同建筑的集合B_m，B_m+1，…，B_n；步骤10：利用z-buffer算法对每幅图像中不可见的建筑的类别进行划分，得到VM矩阵，VM_ij表示建筑i在图像j中的可见性：若建筑i在图像j可见，VM_ij＝1；若建筑i的重投影点的二维坐标超出了图像j的范围，VM_ij＝0；若重投影点二维坐标在图像j范围内而又没有图像特征点与之对应，进一步判断该建筑是被遮挡还是不存在；对任意图像j进行如下步骤：步骤a：对于图像j中可见的建筑，利用格雷厄姆扫描法得到其重投影二维点集合的凸包；步骤b：生成与图像j分辨率相同的8位灰度图像，颜色置为黑色；对凸包内部的区域用白色进行填充，保存填充完成的掩膜图像记为mask_j；步骤c：对于任意建筑物，计算其包含的三维点的深度信息，求取深度信息的平均值，将平均值作为对应凸包区域内部像素的深度信息；利用z-buffer算法计算掩膜图像mask_j中每个像素的深度信息；步骤d：对于图像j中尚未确定类别的建筑i，计算其重投影二维点集合中超出图像范围的点的个数与深度小于mask_j中对应像素深度的点的个数之和Ns，进一步计算Ns在建筑i包含的三维点总数N中所占比例R，如果R小于0.1，判断建筑i被遮挡，VM_ij＝0；否则建筑i不存在，VM_ij＝-1；步骤11：利用局部搜索算法对VM矩阵列的顺序进行调整，得到图像时间序列；VM矩阵需要满足约束：当矩阵中任意一行出现1…-1…1模式，进行调整步骤如下：步骤a：计算初始VM矩阵中违反约束的元素个数；步骤b：对VM矩阵每两列进行临时交换，计算交换后的VM矩阵中违反约束的元素个数，选择违反约束个数最小的临时交换作为最终交换；步骤c：重复步骤b，直至矩阵中的所有行都满足约束，最终VM的列顺序即为图像的时间序列；如果陷入局部最优，则转步骤1，重新随机生成VM矩阵的列的初始顺序；步骤12：将调整后的VM矩阵以列为单位进行聚类，得到不同时期的三维场景并组合得到四维场景，基本步骤如下：步骤a：将以VM矩阵的第一列作为一个新类；步骤b：从VM矩阵的第二列开始，依次对每一列进行判断；若该列和某个类中的列一致，则将其加入该类；否则以该列生成另一个新类；列i与列j一致的定义如下：若列i中取值为1的元素在列j中对应的元素取值不为-1，则两列一致；聚类完成后，每个类中包含的建筑物的三维点集合就是该历史时期的三维重建结果，而整个时间上连续的三维重建结果集合就是最终的四维场景重建结果。