[发明专利]基于隐藏表征和深度生成对抗模型的多模态数据处理系统和方法

权利要求书

1.一种基于隐藏表征和深度生成对抗模型的多模态数据处理方法，包括：

使用深度神经网络学习多模态数据的隐藏表征，其中深度神经网络的学习模型为：

其中是所有样本的隐藏表征矩阵，W_v是第v个模态的特征投影矩阵，P是标签投影矩阵，β、γ、λ和η是正则化参数，E_v是第v个模态的稀疏误差矩阵，X_V表示第v个模态的特征矩阵，X_v包括完整的多模态数据和不完整的多模态数据X_v的相应标签由给出；拉普拉斯矩阵给出L_v＝D_v-S_v,D_v是一个对角矩阵，其第i个对角线元素表示在S_v中第i行的总和； S_v是第v个模态的相似性矩阵，其第(i,j)个元素以给出，其中X_v,：i和X_v,：j分别表示Xv的第i列和第j列，并且根据经验设定σ＝1；

如果多模态数据有部分数据遗失，通过深度生成对抗模型GAN生成缺失数据，协同隐藏表征共同生成图像数据，其中通过深度生成对抗模型GAN生成缺失数据，协同隐藏表征共同生成图像数据包括：通过使用RIED-Net对输入数据进行处理，RIED-Net包含9个残差起始块，编码路径中有5个残差起始块，解码路径中有4个残差起始块，在每一个残差起始块中，输入为给定输入图像或特征映射x，存在具有3个卷积层的主路径和从第一层到最后一层的残差起始路径，主路径获得残差映射F(x)，在残差起始路径上实施1×1卷积层获得x的投影G(x)，并且将主路径和残差起始路径按像素求和形成组合输出F(x)+G(x)。

2.如权利要求1所述的基于隐藏表征和深度生成对抗模型的多模态数据处理方法，其特征在于，所述多模态数据包括图像数据和生物样本库数据。

3.如权利要求1所述的基于隐藏表征和深度生成对抗模型的多模态数据处理方法，其特征在于，所述多模态数据包括完整多模态数据和不完整多模态数据。

4.如权利要求3所述的基于隐藏表征和深度生成对抗模型的多模态数据处理方法，其特征在于，利用具有完整多模态数据的样本来获取共同的隐藏表征；

利用具有不完整多模态数据的样本来获取每个模态专有的隐藏表征；

将所有的隐藏表征被投影到标签空间用于图像合成。

5.一种基于隐藏表征和深度生成对抗模型的多模态数据处理系统，包括：

隐藏表征生成单元，所述隐藏表征生成单元使用深度神经网络学习多模态数据的隐藏表征，其中深度神经网络的学习模型为：

其中是所有样本的隐藏表征矩阵，W_v是第v个模态的特征投影矩阵，P是标签投影矩阵，β、γ和λ是正则化参数，E_v是第v个模态的稀疏误差矩阵，X_V表示第v个模态的特征矩阵，X_v包括完整的多模态数据和不完整的多模态数据X_v的相应标签由给出；拉普拉斯矩阵给出L_v＝D_v-S_v,D_v是一个对角矩阵，其第i个对角线元素表示在S_v中第i行的总和； S_v是第v个模态的相似性矩阵，其第(i,j)个元素以给出，其中X_v,：i和X_v,：j分别表示Xv的第i列和第j列，并且根据经验设定σ＝1；

图像生成单元，所述图像生成单元通过深度生成对抗模型GAN生成缺失数据，协同隐藏表征共同生成图像数据，

其中图像生成单元通过使用RIED-Net对输入数据进行处理，RIED-Net包含9个残差起始块，编码路径中有5个残差起始块，解码路径中有4个残差起始块，在每一个残差起始块中，输入为给定输入图像或特征映射x，存在具有3个卷积层的主路径和从第一层到最后一层的残差起始路径，主路径获得残差映射F(x)，在残差起始路径上实施1×1卷积层获得x的投影G(x)，并且将主路径和残差起始路径按像素求和形成组合输出F(x)+G(x)。