[发明专利]基于多源数据融合的电磁目标识别方法及相关设备

权利要求书

1.一种基于多源数据融合的电磁目标识别方法，其特征在于，包括：

获取目标电磁设备的电磁信号数据和图像数据；

通过预先构建的电磁编码器对所述电磁信号数据进行编码，得到电磁隐层向量；

通过预先构建的图像编码器对所述图像样本数据进行编码，得到图像隐层向量；

基于所述电磁隐层向量和所述图像隐层向量得到叠加隐层向量；

将所述叠加隐层向量输入预先构建的电磁目标分类器，以对所述目标电磁设备进行分类，基于预设的类别标签确定所述目标电磁设备的电磁信号类别。

2.根据权利要求1所述的电磁目标识别方法，其特征在于，所述电磁编码器，包括：卷积神经网络、长短期记忆网络LSTM和全连接层。

3.根据权利要求1所述的电磁目标识别方法，其特征在于，所述图像编码器，包括：卷积神经网络和全连接层。

4.根据权利要求1所述的电磁目标识别方法，其特征在于，所述基于所述电磁隐层向量和所述图像隐层向量得到叠加隐层向量，包括：

将所述电磁隐层向量和所述图像隐层向量进行相加得到所述叠加隐层向量。

5.根据权利要求1所述的电磁目标识别方法，其特征在于，还包括：

所述电磁编码器、所述图像编码器和所述电磁目标分类器是经过预训练的，其预训练的过程为，

构建训练样本集，所述训练样本集包括电磁数据样本和图像数据样本；

基于所述训练样本集和总损失函数对所述电磁编码器、所述图像编码器和所述电磁目标分类器进行迭代训练，直至所述总损失函数收敛。

6.根据权利要求5所述的电磁目标识别方法，其特征在于，所述基于所述训练样本集和总损失函数对所述电磁编码器、所述图像编码器和所述电磁目标分类器进行迭代训练，直至所述总损失函数收敛，包括：

通过所述电磁编码器对所述电磁数据样本进行编码，得到电磁样本隐层向量；

通过所述图像编码器对所述图像数据样本进行编码，得到图像样本隐层向量；

基于所述电磁样本隐层向量和所述图像样本隐层向量得到叠加样本隐层向量；

通过电磁解码器对所述叠加样本隐层向量进行解码，得到重构电磁数据；

通过图像解码器对所述叠加样本隐层向量进行解码，得到重构图像数据；

将所述叠加样本隐层向量输入所述电磁目标分类器，以对所述训练样本集中的训练样本进行分类，得到所述训练样本的伪标签，基于所述训练样本的真实标签和所述伪标签确定所述电磁目标分类器的检测准确率；

基于所述电磁数据样本和所述重构电磁数据构建第一损失函数；

基于所述图像数据样本和所述重构图像数据构建第二损失函数和第三损失函数；

基于所述训练样本的真实标签和所述检测准确率构建第四损失函数；

基于所述第一损失函数、所述第二损失函数、所述第三损失函数和所述第四损失函数构建所述总损失函数，通过对所述总损失函数进行最小化计算以使所述总损失函数收敛。

7.根据权利要求6所述的电磁目标识别方法，其特征在于，所述电磁解码器包括卷积神经网络、长短期记忆网络LSTM和全连接层，所述图像解码器包括卷积神经网络和全连接层。

8.一种基于多源数据融合的电磁目标识别装置，其特征在于，包括：

获取模块，被配置为获取目标电磁设备的电磁信号数据和图像数据；

电磁编码模块，被配置为通过预先构建的电磁编码器对所述电磁信号数据进行编码，得到电磁隐层向量；

图像编码模块，被配置为通过预先构建的图像编码器对所述图像样本数据进行编码，得到图像隐层向量；

叠加编码模块，被配置为基于所述电磁隐层向量和所述图像隐层向量得到叠加隐层向量；

分类模块，被配置为将所述叠加隐层向量输入预先构建的电磁目标分类器，以对所述目标电磁设备进行分类，基于预设的类别标签确定所述目标电磁设备的电磁信号类别。