[发明专利]一种基于多模态融合的水下目标识别方法

权利要求书

1.一种基于多模态融合的水下目标识别方法，其特征在于，包括如下步骤：

(1)数据采集，声呐信号采集和海洋环境数据采集；

(2)数据融合与谱图提取，将海洋环境数据进行融合得到一维数据，由声呐信号提取Lofar谱图；

(3)模型搭建，构建基于卷积神经网络的多模态融合模型，其中海洋环境数据使用一维卷积神经网络，Lofar谱图使用二维卷积神经网络；

1)首先海洋环境数据经过一维卷积神经网络输出特征向量，同时Lofar谱图经过二维卷积神经网络输出特征图；

卷积神经网络中的卷积操作公式如下：

其中，w(m,n)为卷积核大小，c(i+m,j+n)为卷积区域，conv(i,j)为卷积结果；

池化操作公式如下：

pooling(u,v)＝down(s(u+p,v+q)) (6)

其中s(u+p,v+q)为池化区域，p和q代表池化操作的步长，down为下采样操作，可以取均值或最大值，pooling(u,v)为池化后的结果；

经过卷积神经网络的特征输出公式如下：

F₁＝Conv1d(ConcateData) (7)

F₂＝Conv2d(Lofar) (8)

其中，ConcateData为融合后的海洋环境数据，convld为一维卷积，conv2d为二维卷积，F₁为海洋环境数据经过一维卷积神经网络输出的特征向量；F₂为Lofar谱图经过二维卷积神经网络输出的特征图；

2)将步骤1)得到的特征向量输入到一个全局平均池化层后得到一维卷积的全局特征向量，再将它输入到一个具有两层结构的一维卷积操作中，其输出的大小与Lofar谱图经过二维卷积操作后的通道数一致，公式如下所示：

F₃＝Conv1d(GAP(F₁)) (9)

其中，GAP为全局平均池化；

3)将步骤2)输出的特征向量经过公式(10)的Sigmoid函数输出结果，将输出结果再与Lofar谱图经过二维卷积神经网络输出的特征图相乘，得到一组新的特征图，如公式(11)；

4)将步骤3)输出的特征图输入到一个两层的卷积神经网络中进行训练，核的大小为3*3，通道数为128：

F＝Conv2d(F₄) (12)

其中，conv2d为二维卷积，F为特征图的融合结果；

再结合全连接层和softmax分类器获得最终的识别准确率：

acc＝softmax(FC(F)) (13)

其中，FC为全连接层，softmax为神经网络分类器，acc为识别准确率；

(4)目标识别，将采集到的声呐信号和海洋环境数据输入到对应的网络中进行训练与测试，得到水下目标识别结果。

2.根据权利要求1所述的一种基于多模态融合的水下目标识别方法，其特征在于，步骤(2)中，对海洋环境数据进行融合的方法如下：

1)将字符数据转换成整型数据；

2)数值拆解，如果数据为小数则拆成两个十进制整型数；

3)扩张数据，使得每个数据占据64个字符长度；

4)归一化处理，使用均值归一化操作，如公式(1)所示：

其中，x代表原始数据，函数max、min和mean分别为对原始数据取最大值、最小值和均值，最终得出归一化数据x'；

5)串联融合，将归一化后的不同模态数据直接串联成一条数据，如公式(2)所示：

f(x)＝concat([local,temp,depth,time]) (2)

其中，local、temp、depth和time分别为对应采样点的经纬度、温度、深度和时间信息，经过concat串联函数实现不同模态的数据融合。