[发明专利]基于语义修补的合成孔径成像方法

权利要求书

1.一种基于语义修补的合成孔径成像方法，其特征在于步骤如下：

步骤1：生成聚焦到遮挡平面的合成孔径图像

用由N个相机水平组成的相机阵列拍摄目标所在的场景，F_i表示由N个相机组成的相机阵列所采集的各个位于不同视角的相机图像，通过平均不同视角F_i经过仿射变换投影到参考视角r、深度l的遮挡平面图像，得到聚焦到遮挡平面的合成孔径图像S；其中i＝1，2，…，N；

步骤2：标记位于遮挡区域的像素

采用图像分割方法标记参考视角中属于遮挡物的像素，将聚焦到遮挡平面的合成孔径图像输入预先训练的基于Mask RCNN算法的图像分割模型，得到分割图像u；

步骤3：生成聚焦到目标平面的合成孔径图像

对步骤2得到的分割图像u进行形态学操作，得到参考视角下遮挡平面的二值标记图像u_r，其中r∈[1，8]，用公式(1)得到不同视角下的遮挡标记图像u_i：

式中，为参考视角F_r投影到视角F_i的单应性矩阵，P-1为视差矩阵，和P-1通过相机标定得出，用公式(2)得到标记为遮挡后的图像序列：

按照步骤1中的方法，用代替F_i作为新的输入，在聚焦目标时去除被标记遮挡像素的影响，从而得到目标区域存在信息缺失的合成孔径图像Y；

步骤4：缺失区域的语义修补

对抗网络包括生成网络G和判别网络D的两个深度卷积神经网络，生成网络G为解码-编码网络，输入为缺失图像信息，通过编码-解码网络输出补全图像信息，从而得到类似真实数据的图像；判别网络D由局部判别网络和全局判别网络构成，局部判别网络识别局部一致性，全局判别网络将完整图像作为输入，通过卷积运算得到整体图像一致性分数，从而区分输入的图像来自于真实数据还是生成数据，直到无法判断输入数据的真假；在训练过程中，用公式(3)表示生成对抗网络的目标函数：

式中，I为输入图像，T为随机掩膜，指定缺失区域作为局部判别网络的输入，M为缺失区域掩膜，G(I，M)为生成网络的预测输出，D(G(I，M)，M)为判别网络针对输入为G(I，M)的输出，β为超参数，L_G为均方损失函数，用公式(4)计算得出：

L_G＝||M⊙(G(I，M)-I)||² (4)

式中，⊙表示矩阵点乘，|| ||表示欧几里得距离；

使用训练后的生成网络G对信息缺失的图像Y进行语义修补，在语义修补过程中，用公式(5)计算图像Y缺失信息区域对应掩码：

式中，t_H为阈值，u_r(m)为二值标记图像u_r中像素m对应的像素值，Y(m)为存在信息缺失的合成孔径图像Y中像素m对应的像素值，K(m)为掩码K中像素m对应的像素值；

将信息缺失的图像Y与缺失信息区域对应的掩码K输入到使用最优模型参数辅助的生成网络G，得到最终修补完整的合成图像A，用公式(6)表示

A＝G(Y，K) (6)。

2.根据权利要求1所述的一种基于语义修补的合成孔径成像方法，其特征在于步骤2具体如下：Mask RCNN首先利用ResNet-101-FPN深度残差网络作为特征提取网络对输入图像进行特征提取，然后利用候选区域网络计算原图中的某一区域是否包含特定物体：如果不包含物体则不进行分类，如果包含物体则使用感兴趣区域池化层进行特征提取并预测物体类别和物体边界框，通过对物体分类、边界框预测、物体分割三个分支的损失联合训练，优化模型参数，当模型的输出与真实标签的误差小于符合事务的阈值时，停止训练；记训练生成的分割模型为R，用公式(1)表示得到参考视角下遮挡平面的分割图像u：

u＝R(S)。

3.根据权利要求1所述的一种基于语义修补的合成孔径成像方法，其特征在于步骤3中所述的形态学操作包括膨胀与腐蚀。