[发明专利]一种基于多模态深度学习的信号指纹识别方法

权利要求书

1.一种基于多模态深度学习的信号指纹识别方法，其特征在于，包括以下步骤：

S1、对原始信号进行多种变换域空间的特征表示，并将多种特征表示组合为信号的多模态特征；

S2、根据信号的多模态特征构建面向多种信号变换域特征的多模态深度学习网络，通过对多模态深度学习网络的训练得到应用于信号指纹识别的分类器，并通过分类器进行信号指纹的识别；

所述步骤S1的具体步骤为：

S11、对原始输入的信号数据按照固定长度切片作为单帧输入，切片长度为n(n＝2ⁱ，i＝6,7,8…)，获取i类切片数据，将每类单帧数据记为Sⁱ；

S12、对原始输入的信号波形数据进行完整的时域、频域以及变换域的空间处理，进而再获取固定尺寸的二维图像，并统一利用双三插值进行图像压缩并做灰度化处理，记第j类变换得到的图像为G^j；

S13、将原始信号的切片序列和频谱图像的集合C＝{S¹,S²,S³,…,G¹,G²,G³,…}作为信号的多模态特征；

所述步骤S2中构建多模态深度学习网络的具体步骤为：

S21、对集合C中的每一个切片数据特征Sⁱ，设计一个m(m＝4,5,6…)层结构的深度神经网络模型，所述深度神经网络模型的第一层为输入层，中间层位长短时记忆层，将最后一个长短时记忆层作为输出层，输出结果为OSⁱ；

S22、对集合C中的每一个图像特征G^j，构建t(t＝3,4,5…)层结构的深度卷积神经网络或含r(r＝2,3,4…)个单元的残差网络，其中每个残差单元包含两次短路连接k(k＝2,3,4…)个卷积层、2个非线性整流函数激活层和1个最大池化层，将最后一个池化层作为输出层，输出结果为OG^j；

S23、将输出结果OSⁱ和OG^j进行合并，并进行p(p＝2,3…)层全连接层的处理，对最后全连接层的输出以Sigmoid函数进行激活，构建多模态深度学习网络。

2.根据权利要求1所述的基于多模态深度学习的信号指纹识别方法，其特征在于，所述步骤S12中的空间处理具体为：通过快速傅里叶变换、短时傅里叶变换、双谱变换、连续小波变换、希尔伯特黄变换、魏格纳-威尔分布、Cohen类分布获取脉内波形数据的时频和时相图。

3.根据权利要求1所述的基于多模态深度学习的信号指纹识别方法，其特征在于，所述图像G^j的尺寸为K^j×K^j，K^j的取值包括但不限于128、224、256和512。

4.根据权利要求1所述的基于多模态深度学习的信号指纹识别方法，其特征在于，所述步骤S2中训练多模态深度学习网络的具体步骤为：针对每一种单模态特征，准备数量一致的训练模型和测试数据模型，利用误差的反向传播对损失函数进行迭代优化，并朝其值减小的方向更新网络权重系数，当到达预设的迭代轮数或损失值不再降低时，停止网络训练，得到训练好的多模态深度学习网络。

5.根据权利要求4所述的基于多模态深度学习的信号指纹识别方法，其特征在于，所述步骤S2中识别信号指纹的具体步骤为：将集合C中的多模态特征作为训练好的多模态深度学习网络的模型输入，得到识别结果。