[发明专利]一种双流特征学习生成对抗网络的低分辨率船舶分类方法

说明书

本发明公开了一种双流特征学习生成对抗网络的低分辨率船舶分类方法，包括步骤：一、建立船舶图像训练集；二、构建并训练集高频和低频图像分解器为一体的双流通道图像分解器；三、优化基于特征学习的生成对抗网络；四、训练船舶分类器；五、低分辨率船舶图像的高低频分量分解、增强、拼接及分类。本发明针对低分辨率船舶图像信息匮乏的问题，提出了双流特征学习生成对抗网络的船舶图像分类方法，解决了船舶图像在降采样过程中高频分量和低频分量损失不一致的问题，通过高分辨率图像引导，构建双流通道图像分解器，生成增强的图像特征，通过图像拼接，保留几乎所有的输入图像内容，完成低分辨率船舶分类任务,分类效果好。

技术领域

本发明属于低分辨率船舶分类技术领域，具体涉及一种双流特征学习生成对抗网络的低分辨率船舶分类方法。

背景技术

深度学习技术极大地促进了目标识别的发展，例如ResNet，DenseNet和SeNet。对感兴趣区域进行抽象的表示并进行分类。这类模型能够处理具有丰富细节的图像，然而在处理分辨率极低的对象时表现欠佳。但是，在许多计算机视觉的应用中，远距离的物体十分普遍的存在，包括卫星地视观测，无人机视频监控系统，以及隐私保护的视频分析。

低分辨率船舶分类就是对低分辨率的船舶图像进行分类。该任务通常被认为是一项非常具有挑战性的任务，因为低分辨率图像本身的信息量十分匮乏，深度学习算法很难对该类图像提取有效的特征。相关工作表明，32×32分辨率的人脸区域是有效识别的最小尺寸。总之，高分辨率图像分类可以达到较高的分类精度，低分辨率物体识别的性能较低，解决方案仍然很欠缺。

目前，低分辨率图像的分类研究主要在低分辨率行为识别与人脸识别中展开。分类方法尝试通过使用判别学习，来识别低分辨率图像的人脸。还有提出蒸馏知识的模型，这个模型由高分辨率图像的教师网络和低分辨率图像的学生网络组成，有选择地提取最有信息的表示以改善低分辨率图像的特征。在保护隐私的人体行为识别方面，有人提出了全耦合双流时空架构，以提取时空特征，然后将其聚合为鲁棒的特征，用于人体行为识别。还有人提出了一种基于双流multi-Siamese的CNNs，将多分辨率的图像嵌入到相同的特征空间中，用于人体行为识别。

目前已有的低分辨率图像分类方法有两类。第一类，基于超分辨率重建的低分辨率物体识别方法；第二类，基于特征变换的低分辨率物体识别方法。第一类分类方法在识别或者分类之前，基于图像重建的方法尝试重建高分辨率图像的感兴趣区域。在这类模型中的每一个，都提出了基于关系的超分辨率重建技术，并且它学习了高分辨率图像空间与低分辨率图像空间之间的关系。还有提出了一种跨域图像超分网络，用来恢复图像细节，并增强低分辨率图像的质量。还有从低分辨率图像生成了逼真的高分辨图像，用于分类任务的图像。但是，该技术的主要缺点是上述方法是重建出来的超分辨率图像可能包含严重的失真区域，尤其是当原始低分辨率图像分辨率十分低的时候。也就是说，低分辨率图像中严重的信息损失，使基于CNNs的分类器无法从低分辨率图像提取可以识别特征。此外，这类方法通常会导致大量的计算和内存消耗。另外，他们未针对识别进行优化。

第二类分类方法直接将低分辨率图像特征与相应的高分辨率图像特征同时映射至公共子空间中，最小化两个特征图之间的距离。有人提出了通过多尺度共享特征的判别学习，用来解决低分辨率图像的行人重识别的问题。有人使用深度学习，来解决极低分辨率图像的识别问题。有人提出了一种深度耦合的ResNet，该方法通过在枝干网络中不同分辨率下的人脸图像，提取了判别式。有人提出了一种通过耦合学习稀疏图像变换的算法，来学习高分辨率图像和低分辨率图像空间的图像对的稀疏图像变换。还有人建议多任务深度模型，可同时学习人脸超分辨率和人脸使用生成对抗网络进行面部关键部位定位的训练。该类方法的缺陷在于如何构造有效的公共子空间，使得投影后的样本的相对距离与原始空间接近。

发明内容