[发明专利]基于邻接矩阵指导标签嵌入的遥感图像多标签分类方法

说明书

本发明提出了一种基于邻接矩阵指导标签嵌入的遥感图像多标签分类方法，实现步骤为：获取训练样本集、测试样本集、邻接矩阵和标签向量矩阵；构建基于邻接矩阵指导标签嵌入的遥感图像多标签分类模型；对基于邻接矩阵指导标签嵌入的遥感图像多标签分类模型进行迭代训练；获取多标签图像分类结果。本发明通过邻接矩阵和嵌入向量余弦相似度矩阵的最小均方误差损失对标签向量矩阵嵌入过程进行约束，充分考虑了邻接矩阵这一先验信息，提高了多标签图像分类的mF1值；通过引入标签和图像协同嵌入方法，对标签和特征图中每一个像素之间的响应关系进行联合建模，减少了遥感图像背景对于多标签图像分类的影响，进而提高了多标签图像分类的mF1值。

技术领域

本发明属于图像处理技术领域，涉及一种图像多标签分类方法，具体涉及一种基于邻接矩阵指导标签嵌入的遥感图像多标签分类方法，可用于城市制图，场景理解及图像检索。

背景技术

遥感图像是由高空传感器对地表进行扫描和拍摄捕获的图像，具有全天性、视角广、少遮挡等优良的特性，在军事、民生等领域得到了广泛的应用。根据遥感图像中目标类别数目的多少可以将遥感图像分为单标签遥感图像和多标签遥感图像。如果单幅遥感图像包含一个及以上的目标类别，称这种图像为多标签遥感图像。遥感图像多标签分类是指对遥感图像中存在的多个目标类别进行分类，最终得到遥感图像中存在的所有目标类别的标签信息，被广泛应用于城市制图、场景理解等领域。

表征遥感图像多标签分类的指标主要是基于精准率和召回率的平均F1值mF1。mF1是准确率和召回率的加权调和平均数，其核心思想是在尽可能地提高准确率和召回率的同时，也希望两者之间的差异尽可能小。

遥感图像多标签分类方法分为传统的遥感图像多标签分类方法和基于深度学习的遥感图像多标签分类方法。相比于传统方法，基于深度学习的遥感图像多标签分类方法的mF1值高，算法复杂性低，因此得到了广泛关注。根据所给的监督信息的不同，基于深度学习的遥感图像多标签分类方法可分为两类：基于强监督的遥感图像多标签分类方法和基于弱监督的遥感图像多标签分类方法。相比于基于强监督的遥感图像多标签分类方法，基于弱监督的遥感图像多标签分类方法只利用图像类别标签进行多标签分类，而不使用额外的目标位置信息。基于弱监督的遥感图像多标签分类方法一般过程为：首先，对遥感图像进行特征提取；其次，通过不同的标签嵌入方法，对多标签进行嵌入操作，利用提取到的特征和嵌入得到标签嵌入特征进行关联学习；最后对关联学习得到的图像和标签之间的关联特征对遥感图像进行多标签分类。基于弱监督的遥感图像多标签分类方法具有训练效率高以及标签成本低等优点，是当前遥感图像多标签分类领域的研究热点。

图像多标签分类任务面临着两个主要的挑战。其中一个挑战是如何挖掘多标签之间的依赖关系；另一个挑战是如何对标签和图像进行跨模态语义信息的关联学习。例如，Renchun You等人于2020年在《Proceedings of the AAAI Conference on ArtificialIntelligence》会议上发表了一篇题为“Cross-modality attention with semanticgraph embedding for multi-label classification”的文章，卷号为34，公开了一种跨模态注意力图嵌入图像多标签分类方法，该方法利用标签图建模标签之间的语义关系并对标签进行嵌入操作；然后将学习到的标签嵌入和图像特征一起输入跨模态注意力模块，得到具有标签相关性的特征图。最后将标签相关性的特征图输入多标签分类器进行分类，得到分类结果。该方法解决了图像多标签分类任务中多模态联合建模的问题，但是没有考虑标签之间的局部依赖关系，此外，由于遥感图像存在背景复杂、目标尺度差异大等特点，该方法难以对多标签和图像区域进行精确的关联，且仅适用于自然图像。