[发明专利]一种融合多尺度多层级特征的卫星影像密集匹配方法

权利要求书

1.一种融合多尺度多层级特征的卫星影像密集匹配方法，其特征在于，包括以下步骤：

步骤1，将构成立体像对的两景卫星影像通过几何精校正和核线纠正得到处理后的左、右卫星影像，获取以左卫星影像为基准的视差图，通过左、右卫星影像，视差图构建训练集；其中，左、右卫星影像用于预测匹配视差图，训练集给定的视差图将作为真值数据，用于精度验证；

步骤2，定义多尺度特征提取模块、多层级特征融合模块和代价聚合模块，其中，多尺度特征提取模块用以提取不同尺度的影像特征；多层级特征融合模块用于进行不同层级影像特征的融合；代价聚合模块以不同步距的三维卷积进行不同尺度的代价计算、并通过反卷积及代价级联方式实现多尺度代价聚合；

步骤3，利用多尺度特征提取模块、多层级特征融合模块和代价聚合模块构建密集匹配网络，并利用步骤1中构建的训练集训练密集匹配网络；

所述密集匹配网络包括四个部分：特征提取部分，用于利用多尺度特征提取模块、多层级特征融合模块提取输入影像的特征；匹配代价体部分，用于利用提取的影像特征构建匹配代价体；代价聚合部分，用于利用代价聚合模块实现多层级匹配代价聚合；视差回归部分，用于利用多层级匹配代价聚合获取多层级的预测视差图结果，而后对多层级视差图结果进行融合，得到网络的最终输出；

步骤3中所述的密集网络匹配模型为，

其中，I表示输入的立体像对，Θ表示网络参数，表示网络特征提取部分输出的特征图；表示构建的匹配代价体；Cost_p表示第p层级的聚合代价；D_p表示经由第p层级聚合代价预测的视差图；

步骤3中通过多尺度特征提取模块、多层级特征融合模块和代价聚合模块构建密集匹配网络的过程具体为：

训练过程中，Φ经由特征提取部分获取左、右卫星影像的特征图和利用和构建匹配代价体对进行多层级代价聚合，得到Cost_p；对Cost_p进行视差回归，得到对应层级的预测视差D_p；按照一定比例因子对D_p进行元素级相加，得到以左卫星影像为基准的视差图，即视差图D；

进一步地，利用构造的密集匹配网络模型，经由训练集训练密集匹配网络模型的过程包含以下子步骤：

步骤3.1：以训练集作为密集匹配网络的输入，其中，左、右卫星影像数据I_l，i，I_r，i作为密集匹配网络的输入，用于学习预测的视差结果D′_i；视差真值用于和预测视差结果D′_i进行比对，判断预测结果的准确性并通过反向传播机制更新网络；

步骤3.2：构建网络的特征提取部分，步骤3.2中所述网络特征提取部分定义为：

其中，I表示左、右卫星影像，为网络特征提取部分的输入，Conv_a表示需要进行的二维卷积；SFE_b表示使用的多尺度特征提取模块；CSF_c表示使用的多层级特征融合模块；T_d表示需要进行的维度转换或尺度变换操作，下标a，b，c，d表示这些操作和模块均多次使用，N^*表示正整数；分别以左、右影像I_l、I_r为输入，经过特征提取部分，即得到影像对应的输出特征图

步骤3.3：构建网络的匹配代价体部分，步骤3.3中所述网络匹配代价体部分定义为：

其中，表示左、右影像经由网络特征提取部分获取的影像特征；d_max表示给定的左、右影像的视差值范围；为经由匹配代价体构建过程得到的代价体；

当给定视差大小为d，影像行列数为x和y时，经过校正的左、右影像的对应像素之间具有如下关系：

(x_l，y)＝(x_r-d，y)

即左影像的第x列像素对应于右影像的第(x-d)列像素；

步骤3.4：构建网络的代价聚合部分，步骤3.4中所述网络代价聚合部分定义为：

其中，为经由匹配代价体构建过程计算得到的代价体；3CBR为需要进行归一化和非线性激活的三维卷积操作；3CB为需要进行归一化的三维卷积操作；3DC为三维反卷积操作；CA_p为代价聚合模块；

步骤3.5：构建网络的视差回归部分，步骤3.5中所述网络视差回归部分定义为：

D＝∑_p∈Nλ_pD_p，p∈N^*

其中，D_p表示经由一系列变换操作及进行视差回归得到的各层级视差，λ_p表示D_p对应的比例因子；D表示预测的以左影像为基准的视差图；

步骤3.6：以输出结果D和真值D^*之间的相似程度计算损失函数，利用后向传播更新全部网络学习参数

步骤4，利用训练后的卫星影像密集匹配网络对经过几何精校正和核线纠正的左、右卫星影像进行密集匹配，即可获得匹配结果。