[发明专利]基于神经网络可视化的声呐图像自动目标识别方法

说明书

本发明公开了一种基于神经网络可视化的声呐图像自动目标识别方法。通过实现一种仅依靠样本类别标签对声呐图像目标的定位与识别方法，较大减少了方法的人工成本和在声呐图像领域的泛化能力。针对声呐数据集缺乏造成的训练模型明显的过拟合问题，本发明通过自适应实例正则化(Adaptive InstanceNormalization，AdaIN)风格转换方法将原预训练所用光学数据集转换为了基于形状偏好的光学数据集，使得获取的预训练参数对形状特征更为鲁棒，从而辅助模型在声呐数据集的训练中侧重于提取声呐图像目标特有的形状特征。实验证明该方法不但有助于解决声呐数据集不足造成的模型定位失准的问题，而且进一步提升了模型在声呐图像的自动目标识别任务中的效果。

技术领域

本发明属于声呐目标识别领域，特别涉及一种基于神经网络可视化的声呐图像自动目标识别方法。

背景技术

声呐图像的自动目标识别技术能够不受水质和光学可见度的影响，广泛应用于AUV中承担一些测量、检测和探测任务。声纳图像中目标的自动识别通常分为定位和识别两个步骤。定位部分的目的是定位最可能包含目标的区域，而分类部分则通过利用定位区域的信息来确定目标的类别。大多数方法通过不同的技术分两步完成自动目标识别任务，增加了方法的人工成本，也影响了泛化能力。

近年来，随着CNN方法在光学图像检测和识别任务中取得了优异的效果，研究人员也试图将CNN方法应用到声纳图像中目标的自动识别领域。在文献“Valdenegro-ToroM.Object recognition in forward-looking sonar images with ConvolutionalNeural Networks[C]//Oceans.IEEE,2016.”中，作者利用CNNs将海洋垃圾数据集的识别率提高到99\％，并通过各种模型的融合提高了分类效果。但是，作者数据集中的目标对象是手动截获的。文献“Berthomier T,Williams D P,Dugelay S.Target Localization inSynthetic Aperture Sonar Imagery using Convolutional Neural Networks[C]//OCEANS 2019 MTS/IEEE SEATTLE.IEEE, 2019.”的作者提出，根据声呐图像的特点，提出可以利用训练在分类任务上的 CNNs来可视化定位目标。由此，基于神经网络可视化的方法解决声呐图像自动目标识别的实际问题成为可能。

发明内容

为解决神经网络可视化的方法实际应用到声呐图像中存在的技术问题，本发明提出一种基于神经网络可视化的声呐图像自动目标识别方法，通过寻求合适的数据集预训练参数，提升模型提取特征的基础能力，从而准确且鲁棒的识别定位目标。

本发明技术方案如下：

本范首先公开了一种基于神经网络可视化的声呐图像自动目标识别方法，其包括如下步骤：

1)使用ResNet-18分类主干网络和Grad-CAM神经网络可视化搭建自动目标识别模型；其中，Grad-CAM模块置于ResNet-18分类主干网络的全连接层前；

2)基于ImageNet光学数据集和自适应实例正则化风格转换技术构建形状偏好数据集，利用形状偏好数据集对自动目标识别模型进行预训练，获取对形状特征鲁棒的预训练参数，

3)利用标记了样本类别的声呐图像作为训练集，对步骤2)预训练后的自动目标模型进行再训练；

4)将待识别样本输入经再训练后的自动目标识别模型，得到分类类别，基于Grad-CAM模块得到指示目标位置的可视化热力图；对热力图高亮部分使用最小外接矩形法获得具体目标位置。

进一步的，所述的Grad-CAM模块，其结构为其中Aⁱ表示最终输出的n张特征图中的1张，其对样本被分类到某一类别c的影响权重记为ReLU为激活函数，使得可视化时只关注与类c正相关的区域。