[发明专利]一种基于监督对比学习的遥感影像遮挡处理方法及装置

说明书

本发明公开了一种基于监督对比学习的遥感影像遮挡处理方法及装置，包括：构建参数共享的孪生ResNet－50模型，作为初步模型，并利用训练集对初步模型进行训练，获得遮挡处理模型；其中，初步模型包括由无遮挡影像特征提取分支和随机遮挡影像特征提取分支构成的特征提取结构、以及场景分类结构，训练集包括若干个第二遥感影像、以及每个第二遥感影像对应的类别标签；将第一遥感影像输入至遮挡处理模型，以使遮挡处理模型对第一遥感影像进行特征提取和场景分类，并输出对应的第一类别，作为第一遥感影像的遥感影像遮挡处理结果。本发明通过对模型的特征提取和分类能力的训练，降低遮挡物变化造成的差异，提升模型的遥感影像遮挡处理精度。

技术领域

本发明涉及遥感影像遮挡处理技术领域，尤其涉及一种基于监督对比学习的遥感影像遮挡处理方法及装置。

背景技术

遥感影像是传感器以电磁波为信息载体，非接触式地记录地物电磁波特性而形成的影像。由于具有宏观、客观、经济、时效性强的特点，遥感影像在军事侦察、土地调查、城市规划等领域有巨大的应用价值。而遥感影像的智能化解译，如场景分类、目标检测与识别等，则是遥感影像实际应用的重要技术基础。近年来，卷积神经网络凭借其优异的层次化表征学习能力，在遥感影像智能化解译领域得到广泛应用，并推动该领域取得长足进步。然而，常见的卷积神经网络对遮挡场景鲁棒性弱，限制了遥感影像智能化解译的落地应用。因此，遥感影像遮挡处理是重要、迫切待研究且具有实际意义的研究方向。

目前，遮挡处理的研究可分为两类：基于遮挡恢复的方法和基于遮挡不变特征提取的方法。基于遮挡恢复的方法，主要是利用生成模型如对抗生成网络和自编码器等，先进行遮挡区域复原，再进行特征提取，使得特征具有遮挡不变性。然而，该类方法算法复杂度高，同时，在场景分类与目标检测任务中，像素级的图像或特征复原是不必要的。基于遮挡不变特征提取方法则是从不同角度出发，使用不同技术，直接提取遮挡不变特征。第一，如果从遮挡导致类内差异和类间混淆的角度出发，则利用度量学习、低秩表示等手段，提高同类地物特征分布的紧凑度，提高异类地物特征可分性，进行遮挡不变特征提取。第二，如果从遮挡信息难以标注的角度出发，则利用半监督或非监督模型，降低模型对遮挡先验信息依赖，进行遮挡不变特征提取。第三，如果从遮挡物体空间位置、光谱信息、几何形态多样性的角度出发，则利用迁移学习，提高模型可泛化性，进行遮挡不变特征提取。然而，遮挡是类别可分性问题、非监督问题和泛化性问题的综合，从单一视角出发无法有效提取遮挡不变特征。另外地，现有的对比学习虽然可以全面地考虑类别可分性问题、非监督问题和泛化性问题，具有遮挡处理的潜力，但是对比学习属于非监督学习，具有类别级非监督、批量大小大和二阶模型的特点，因此，将对比学习直接应用到影像的遮挡处理中效果欠佳。

发明内容

本发明提供了一种基于监督对比学习的遥感影像遮挡处理方法及装置，学习随机遮挡影像特征和无遮挡影像特征，降低遮挡物变化造成的差异，提升模型的鲁棒性。

为了解决上述技术问题，本发明实施例提供了一种基于监督对比学习的遥感影像遮挡处理方法，包括：

构建参数共享的孪生ResNet－50模型，并利用训练集对所述孪生ResNet－50模型进行训练，获得遮挡处理模型；其中，所述孪生ResNet－50模型包括由无遮挡影像特征提取分支和随机遮挡影像特征提取分支构成的特征提取结构、以及场景分类结构，所述训练集包括若干个第二遥感影像、以及每个所述第二遥感影像对应的类别标签；

将待识别的第一遥感影像输入至所述遮挡处理模型，以使所述遮挡处理模型对所述第一遥感影像进行特征提取和场景分类，并输出所述第一遥感影像对应的第一类别，作为所述第一遥感影像的遥感影像遮挡处理结果。