[发明专利]一种特征自适应对齐的无监督域适应遥感图像语义分割方法

说明书

本发明提供了一种基于对抗学习框架的深度学习无监督域适应遥感图像语义分割方法。该方法总体上包括语义分割模型(Segmentation model)和域判别器(Domain discriminator)两大模块，采用Pytorch深度学习框架进行训练，通过域判别器完成分割模型提取的目标域特征在输出空间向源域特征对齐，从而使得分割模型能够提升在目标域图像上的分割性能。根据遥感影像不同类别、不同区域变化剧烈的特点，本发明在域判别器中加入了类明确模块(CCM)与基于熵的区域注意力模块(ERAM)。二者能够使得不同类别、不同区域的特征能自适应的一起合适的方式在输出空间对齐到源域的特征分布。

技术领域

本发明属于图像分割领域，可以应用于无监督域适应遥感图像语义分割领域，利用对抗训练的框架使得在源域上训练的语义分割模型在不需要目标域任何标签的情况下提高对目标域的分割准确性。

背景技术

作为将地物的类别标签分配给图像中的所有像素的一项任务，遥感图像的语义分割随着卷积神经网络的发展已经取得了长足的进步。但是，由于地形，天气条件，传感器成像方法以及文化和经济发展差异等因素，导致不同地理位置、不同时间或者不同传感器上所生成的遥感影像的场景和风格会发生巨大变化(域飘移)。因此，遥感界面临着一个问题，在源域(同一条件下收集的影像集合)上训练有素的模型，无法推广到在不同地理位置，天气条件或传感器中收集的目标域上。

对此，一种最直接的解决方案是，为需要进行分割的目标域图像提供标注数据以使得源域上训练的语义分割模型能够在目标域影像上进行微调，从而最终使得模型能够很好的对目标域影像进行分割。但是，一方面，标注语义分割所需要的像素级标签的需要大量的人力物力；另一方面，遥感图像是海量的，我们不可能为每一个需要分割的目标域单独进行标注。所以，这种微调的方式无法适用于大部分实际场景。

在遥感界普遍采用传统图像处理的方法来缓解遥感图像的域飘移问题。这些方法中主要包括直方图匹配(参考文献R.C.Gonzalez and R.E.Woods,Digital ImageProcessing,3rd ed.Upper Saddle River,NJ,USA:Prentice-Hall,Inc.,2006.)、图匹配(参考文献D.Tuia,J.Munoz-Mari,L.Gomez-Chova,and J.Malo,“Graph matching foradaptation in remote sensing,”IEEE Trans.Geosci.Remote Sens.,vol.51,no.1,pp.329–341,Jan.2013.)、内核主成分分析(参考文献A.A.Nielsen and M.J.Canty,“Kernel principal component and maximum auto correlation factor analyses forchange detection,”Proc.SPIE,vol.7477,p.74770T,Sep.2009.)、颜色恒定算法(参考文献V.Agarwal,B.Abidi,A.Koschan,and M.A.Abidi,“An overview of color constancyalgorithms,”J.Pattern Recognit.Res.,vol.1,no.1,pp.42–54,2006.)等。他们虽然能够一定程度的缓解域飘移，但是分割模型在目标域上的分割精度仍然很低。