[发明专利]一种高效的遥感图像自监督学习训练方法

说明书

本发明公开了一种自监督学习训练加速方法，通过提取网络损失的梯度归一化值来实现对样本难度的评估，之后基于样本的难度评分在训练时采样难度合适的数据进行训练，有限的计算资源下加快网络的收敛，实现更高效地自监督学习。相对于通用的自监督学习训练方法，在同样的计算设备下，本发明公开的方法能够节省约50％的训练时间，本发明可以有效地应用到基于深度学习的自监督学习任务中去，有效地加快收敛，节约计算资源。

技术领域

本发明属于计算机视觉领域，特别涉及一种高效地遥感图像自监督学习训练方法。

背景技术

目前，我国有多颗遥感卫星体系在轨运行，每日产生的遥感影像数据多达数百TB。大量的数据给遥感图像解译任务提供了厚实的基础，但是由于遥感图像标注费时费力，利用标注的数据进行训练学习成本高昂，这一现象促进了遥感图像自监督学习的发展。遥感图像自监督学习旨在利用无标注的遥感数据学习更好的遥感图像特征表征，能够迁移到下游的目标检测、场景分类、地物分类等图像解译任务中去并获得更好的性能。

挖掘图像固有的空间或语义关联属性，这种特性让自监督学习可以从海量的遥感数据中吸收到通用的表征，但因为标签信息的缺失，自监督训练需要的迭代次数一般远多于全监督训练。按照一般遥感图像自监督学习的训练流程，在百万级的数据集上迭代训练200代(epoch)大约需要Tesla V100运行1600(卡·时)。庞大的计算资源需求不仅为中小型研究机构的入场设置了壁垒，也使自监督模型和方法难以迭代和调优。因此，需要对遥感图像自监督的训练策略进行一定的优化，更加有效地利用计算资源，设计一种高效的遥感图像自监督学习训练方法。

发明内容

经过实验发现，遥感图像自监督学习是十分消耗计算资源的，网络平等地处理每一张训练样本不够高效，因此我们从训练样本的难度入手，优化自监督学习的训练过程。在遥感图像中，感兴趣的目标往往呈现聚集式分布，部分区域例如城市，其对应的遥感图像存在大量的感兴趣目标，属于较难挖掘的数据。而在山地、田地、海面这些区域，图像中包含的感兴趣目标较少且外观单一，样本相对简单。目前的算法平等地对待所有训练数据，这导致了训练效率较低。在网络训练前期，网络无法掌握过于困难的数据，而这些数据产生的梯度又会接近噪声，使网络不稳定甚至发生梯度爆炸；在网络训练后期，较为简单的数据又对其帮助不大，过小的梯度也会稀释其他样本的训练效果。因此，在适当的训练阶段为不同类型的样本赋予适当的采样权重，可以有助于提升网络的训练效率。

然而，在遥感图像自监督学习中，仅使用网络产生的损失大小来度量训练样本的难易程度是较为片面的。一方面，网络产生的损失只能反映当前时刻模型对其表征能力的强弱，并不能体现数据本身的语义丰富程度或训练价值。另一方面，自监督学习使用了强度很高的数据增强策略，网络产生的损失就不能直接地代表图像本身的难易程度，而会受到数据增强的干扰。

为解决上述技术问题，本发明通过提取网络损失的梯度归一化(GradientNormalization，GradNorm)来实现对样本难度的评估，并根据样本的难度设计了一种优化的训练策略，可以实现更加高效地自监督学习训练。本发明所采用的技术方案是：一种高效的遥感图像自监督学习训练方法，具体包括：