[发明专利]学习跨平台多模态媒体数据共同特征表示的方法及装置

摘要

本发明公开了一种利用去噪自编码器学习跨平台多模态媒体数据共同特征表示的方法及装置。所述方法包括步骤S1，建立优化目标方程；目标方程中，采用单层的去噪自编码器来重建不同平台和不同模态的媒体数据特征，在重建时，考虑模态相关性约束和跨平台约束；其中，所述不同平台和不同模态的媒体数据特征包括图像特征和文本特征；步骤S2，求得所述优化目标方程的解析解，在求解析解过程中，通过寻找偏导数为零的点得到全局最优解；步骤S3，利用边缘化方法对所得到的解析解进行求解，其中求解过程中通过弱大数定律来边缘化特征向量的随机噪声进行求解。本发明借助弱大数定律来边缘化特征向量的随机噪声。

主权项

一种利用去噪自编码器学习跨平台多模态媒体数据共同特征表示的方法，其特征在于，该方法包括以下步骤：步骤S1，建立优化目标方程；目标方程中，采用单层的去噪自编码器来重建不同平台和不同模态的媒体数据特征，在重建时，考虑模态相关性约束和跨平台约束；其中，所述不同平台和不同模态的媒体数据特征包括图像特征和文本特征；步骤S2，求得所述优化目标方程的解析解，在求解析解过程中，通过寻找偏导数为零的点得到全局最优解；步骤S3，利用边缘化方法对所得到的解析解进行求解，其中求解过程中通过弱大数定律来边缘化特征向量的随机噪声进行求解；其中，步骤S1中的优化目标方程是采用去噪自编码器构造的，所构造的优化目标方程可以表示为：其中，λx，λy，λmc和λcd都表示正则化参数；Wx和Wy表示图像特征和文本特征对应的去噪自编码器的线性映射矩阵；和分别表示图像特征和文本特征的重建目标方程，和表示模态相关性约束和跨平台约束；其中，分别定义如下：其中，m表示加噪声的次数，n表示媒体数据特征向量的个数，是m个X组成的矩阵，是m个Y组成的矩阵，X＝[Xs,Xt]和Y＝[Ys,Yt]表示两个不同平台上结合起来的图像特征矩阵和文本特征矩阵，且X＝[Xs,Xt]和Y＝[Ys,Yt]还可以表示成X＝{xi|i＝1,...,n}，Y＝{yi|i＝1,...,n}，和是和加噪声以后的版本，xi是矩阵X的第i列的特征向量，为的第i*n+j列元素，yi是矩阵Y的第i列的特征向量；定义如下：其中，表示图像特征的方差矩阵，表示文本特征的方差矩阵，是图像特征和文本特征之间的协方差矩阵，Tr表示矩阵的迹；定义如下：其中，n1和n2分别表示不同平台上的媒体数据特征的个数。