[发明专利]基于多特征多约束的多视影像密集匹配融合方法及系统

摘要

本发明提供基于多特征多约束的多视影像密集匹配融合方法及系统，包括根据多重约束，为每一张基准影像分别选择若干张待匹配影像，得到待匹配影像集合，基准影像和相应匹配影像集合构成一个匹配模型；对各个匹配模型，利用多视约束条件，进行半全局密集匹配，直接生成单个匹配模型的密集匹配结果，得到相应高程图；根据格网点之间的高程平滑约束，在全局能量函数最小的条件下，对多个匹配模型的密集匹配结果进行融合；联合面特征和线特征进行点云优化，生成最终的点云。本发明技术方案能够自动选择合理的立体像对，充分利用多视信息使匹配结果更为精确可靠，能够获取全局意义下的最优多视融合结果，优化生成的点云更加精细。

主权项

一种基于多特征多约束的多视影像密集匹配融合方法，其特征在于，包括以下步骤：步骤1，根据多重约束，为每一张基准影像分别选择若干张待匹配影像，得到待匹配影像集合，基准影像和相应待匹配影像集合构成一个匹配模型；所述多重约束，包括基线约束、像平面法向量约束、特征匹配约束和交会角约束；步骤2，对各个匹配模型，利用多视约束条件，进行半全局密集匹配，直接生成单个匹配模型的密集匹配结果，得到相应高程图，实现方式如下，1)预测高程范围，包括根据特征匹配生成的物方点的高程，预测基准影像所覆盖测区的地表起伏，找到最大高程Zmax和最小高程Zmin；2)计算高程方向的步距，包括从基准影像的摄影中心出发，经过像主点，引出一条射线；射线与最大高程面和最小高程面，分别有两个交点M、M'，在步骤1所得待匹配影像集合中，选择一张与基准影像距离最远的待匹配影像I'，将交点M、M'投影到影像I'上，分别得到对应的像点m、m'，将最大最小高程差与投影点连线长度之间的比值，作为高程步距；3)构造代价矩阵，包括以基准影像的像平面作为水平面，根据1)所得高程范围，根据2)所得高程步距在高程方向划分间隔，建立一个三维网格矩阵，作为代价矩阵；所述代价矩阵中，每一个网格代表某像素在对应高程Zi下的匹配代价；4)在代价矩阵中，以互信息作为匹配代价，实现方式如下，首先，计算基准影像的初始高程图，包括针对基准影像上每一个像素(xi,yi)，根据高程范围内的高程值Zi，计算对应的物方点坐标(Xi,Yi,Zi)；将物方点同时投影到匹配模型内所有的待匹配影像上，得到对应的像点坐标(xi',yi')；计算基准影像上像点(xi,yi)与各待匹配影像上像点(xi',yi')之间的相关系数并取平均，作为该像素在高程Zi下的最终相关系数，在高程范围Zmin～Zmax内，找到相关系数最大的同名点，对应的高程为像素(xi,yi)的初始高程；然后，将基准影像分别与各待匹配影像构成一个立体像对，根据初始高程图，对基准影像上的每个像素计算与各待匹配影像之间的互信息作为匹配代价，对多张待匹配影像的匹配代价进行融合，得到最终的匹配代价，并存入相应的代价矩阵中；最后，进行半全局密集匹配，包括根据代价矩阵得到基准影像上每个像素在高程范围内对应的匹配代价，在基准影像上，将任意方向直线上的每个像素作为一个阶段，像素的匹配代价作为节点，将匹配问题转化为动态规划问题求解，匹配结果为动态规划的最优路径，得到基准影像的高程图；步骤3，根据格网点之间的高程平滑约束，在全局能量函数最小的条件下，对多个匹配模型的密集匹配结果进行融合，实现方式如下，以物方点坐标X、Y、Z方向为轴，建立一个包含整个测区的三维格网，三维格网的水平范围为测区的范围，三维格网的高程范围为地表的高程起伏，分别将不同视角的模型匹配结果投影到物方，每个独立的网格都包含零至多个物方点，物方点为步骤3针对各匹配模型所得高程图的相应点云，对落在同一个网格中的不同视角的物方点进行统计，以网格内物方点的数量作为物方一致性约束，以网格中心在多张影像上二值化算子Census值的方差作为像方可见性约束，网格内物方点数量越大、网格中心在多张影像上二值化算子Census值的方差越小，则代表对应物方点为最优高程的可能性越大，根据物方一致性约束和像方可见性约束，计算每个网格点的高程置信度如下，conf＝‑N/σCensusσCensus=Σi=1nDisH(Censusi,Census‾)2/n]]>其中，conf表示高程置信度；N表示网格内的物方点数目；σCensus表示网格中心在多张影像上Census测度的方差；n表示能见该网格点的影像数目；DisH表示Hamming距离；Censusi表示物方网格点投影到第i张影像上所对应像点的Census值；表示所有影像上投影像点的Census均值；所述全局能量函数如下，E=minΣi∈G(Cost(Hi)+Σq∈Niσ|Hi-Hq|/|Ii-Iq|)]]>其中，E表示能量函数，作为融合结果的测度；G表示物方所有格网点的集合；Hi代表第i个格网点的高程，Cost(Hi)表示第i个格网点的对应的高程置信度；Ni表示第i个格网点的邻域格网；σ表示平滑项系数，用于控制格网点之间的平滑强度；Ii表示第i个格网点对应多张影像像点灰度的均值，Hq代表邻域点q的高程，Iq表示邻域点q对应多张影像像点灰度的均值；步骤4，联合面特征和线特征进行点云优化，生成最终的点云。