[发明专利]最大化模态一致性的多模态数据分析方法及装置

说明书

本申请涉及一种最大化模态一致性的多模态数据分析方法、装置、计算机设备和存储介质。所述方法包括：利用自编码器对多模态原始数据进行编码，得到多模态原始数据的编码子空间；根据CCA相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵；根据多模态原始数据的相关矩阵作为最大化模态一致性数据矩阵；对最大化模态一致性数据矩阵进行解码，得到最大化模态一致性模态数据；根据最大化模态一致性模态数据和多模态原始数据进行误差计算，得到的重构误差；根据重构误差对多模态原始数据进行分析重构。采用本方法能够提高模态数据融合效率。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种最大化模态一致性的多模态数据分析方法、装置、计算机设备和存储介质。

背景技术

在现代信息战环境下，可用于态势感知的传感器类型多、数据量大。这些传感器形成的数据(例如雷达频谱、目标点迹航迹、态势以及报文描述等)表现为多模态数据。每个模态都可能提供一定的有用信息，但又难以提供较为完整准确的信息。这些信息有一定的互补性，同时又有严重的冗余和分歧。因此，在强对抗环境下，有效分析融合多种情报来源的多模态数据是及时准确把握瞬息万变的整体态势的必要手段。

然而，目前的传统的多模态数据分析是基于通过编码器将输入向低维映射，再通过解码器生成同维度的输出，在此过程中由于模态间间隔较大，各个模态数据之间融合效率低，且在编码解码过程中存在损失，使得模态数据融合结果存在误差。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高模态数据融合效率的最大化模态一致性的多模态数据分析方法、装置、计算机设备和存储介质。

一种最大化模态一致性的多模态数据分析方法，所述方法包括：

获取多模态原始数据集；多模态原始数据集中包含多个多模态原始数据；

利用自编码器对多模态原始数据进行编码，得到多模态原始数据的编码子空间；

根据CCA相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵；

多模态原始数据的相关矩阵作为最大化模态一致性数据矩阵；

对最大化模态一致性数据矩阵进行解码，得到最大化模态一致性模态数据；

根据最大化模态一致性模态数据和多模态原始数据进行误差计算，得到的重构误差；

根据重构误差对多模态原始数据进行分析重构。

在其中一个实施例中，根据CCA相关性分析对多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵，包括：

其中，U表示第x个模态的相关矩阵，V表示第y个模态的相关矩阵，f(x)表示第x个模态的编码子空间，g(y)表示第y个模态的编码子空间，θ表示正则化因子的权重，n表示样本个数，tr()表示求矩阵的迹，x，y表示两个不同的模态，表示模态x，y的编码数据。

在其中一个实施例中，相关矩阵的约束条件包括：

其中，I表示单位矩阵，r表示随机缺失率，T表示转置运算。

在其中一个实施例中，约束条件还包括：

在其中一个实施例中，根据最大化模态一致性模态数据和所述多模态原始数据进行误差计算，得到的重构误差，包括：

根据所述最大化模态一致性模态数据和所述多模态原始数据进行误差计算，得到的重构误差为