[发明专利]最大化模态一致性的多模态数据分析方法及装置

权利要求书

1.一种最大化模态一致性的多模态数据分析方法，其特征在于，所述方法包括：

获取多模态原始数据集；所述多模态原始数据集中包含多个多模态原始数据；

利用自编码器对所述多模态原始数据进行编码，得到多模态原始数据的编码子空间；

根据CCA相关性分析对所述多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵；

所述多模态原始数据的相关矩阵作为最大化模态一致性数据矩阵；

对所述最大化模态一致性数据矩阵进行解码，得到最大化模态一致性模态数据；

根据所述最大化模态一致性模态数据和所述多模态原始数据进行误差计算，得到的重构误差；

根据所述重构误差对所述多模态原始数据进行分析重构。

2.根据权利要求1所述的方法，其特征在于，根据CCA相关性分析对所述多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵，包括：

其中，U表示第x个模态的相关矩阵，V表示第y个模态的相关矩阵，f(x)表示第x个模态的编码子空间，g(y)表示第y个模态的编码子空间，θ表示正则化因子的权重，n表示样本个数，tr()表示求矩阵的迹，x，y表示两个不同的模态，表示模态x，y的编码数据。

3.根据权利要求2所述的方法，其特征在于，所述相关矩阵的约束条件包括：

其中，I表示单位矩阵，r表示随机缺失率，T表示转置运算。

4.根据权利要求3所述的方法，其特征在于，所述约束条件还包括:

5.根据权利要求1所述的方法，其特征在于，根据所述最大化模态一致性模态数据和所述多模态原始数据进行误差计算，得到的重构误差，包括：

根据所述最大化模态一致性模态数据和所述多模态原始数据进行误差计算，得到的重构误差为

其中，LR表示重构误差，H表示模态的个数,v表示模态的序号,N表示样本个数，n表示样本序号，x_n表示第n个样本的第x个模态的多模态原始数据，g_v()表示解码映射函数，U_n表示第n个样本的第x个模态的相关矩阵，V_n表示第n个样本的第y个模态的相关矩阵，y_n表示第n个样本的第y个模态的多模态原始数据。

6.一种最大化模态一致性的多模态数据分析装置，其特征在于，所述装置包括：

编码模块，用于获取多模态原始数据集；所述多模态原始数据集中包含多个多模态原始数据；利用自编码器对所述多模态原始数据进行编码，得到多模态原始数据的编码子空间；

相关性约束模块，用于根据CCA相关性分析对所述多模态原始数据的编码子空间进行相关性矩阵约束，得到多模态原始数据的相关矩阵；所述多模态原始数据的相关矩阵作为最大化模态一致性数据矩阵；

解码模块，用于对所述最大化模态一致性数据矩阵进行解码，得到最大化模态一致性模态数据；

重构模块，用于根据所述最大化模态一致性模态数据和所述多模态原始数据进行误差计算，得到的重构误差；根据所述重构误差对所述多模态原始数据进行分析重构。

7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。