[发明专利]学习跨平台多模态媒体数据共同特征表示的方法及装置

说明书

技术领域

本发明属于社会媒体(social media)分析和跨媒体特征表示领域，具体涉及一种利用去噪自编码器学习跨平台多模态媒体数据共同特征表示的方法。

背景技术

随着Web2.0的快速普及，越来越多的社会媒体网站(例如Flickr、YouTube、Facebook和Google)可供用户发布和共享信息。这使得发生在人们周围的事件以更快的速度被记录和传播并随之产生了大量不同模态的媒体数据，例如图像、文本和视频。据统计，在1分钟之内，有3125张图片被上传到Flickr，700K条消息在Facebook上被发送，2MM视频在YouTube上被浏览。用户上传的信息不仅规模巨大，而且以不同的模态存在于不同平台上。这些社会多媒体数据中存在着宝贵的信息，并且已经被用于大量的应用中。例如，实时社会媒体数据流(Twitter)被用于语义视频推荐、社会事件预测和图像标注。Flickr上的图片信息被成功地用于预测2008年美国总统选举、产品销售分部监控以及产品销售量预测。社会媒体图像中的人脸表情被用于监测总统选举中舆情信息。

在社会媒体的各种应用中，关键的问题在于如何从大量媒体数据中抽取有效的特征。目前大部分的方法都是基于媒体的上下文信息，例如时间、位置和文本描述。这些描述性信息容易被抽取，但有大量的媒体数据并没有包含这些上下文信息，因此无法得到有效的特征表示。基于内容的社会媒体信息抽取可以解决这些问题。但基于内容的特征表示存在三个难点：(1)社会媒体数据具有多模态属性。例如社会媒体网站中的媒体样本通常同时被图像、文本表示。(2)社会媒体数据的跨平台特性。例如关于特定社会事件的图像可能同时存在于Flickr和Facebook中。(3)传统手工设定的特征仍然不能有效地表示多媒体数据中包含的语义信息。

发明内容

本发明的目的是针对社会媒体数据的跨平台多模态特性，通过去噪自编码器(denoising auto-encoder)来提高底层特征的表示能力，通过最大化不同模态间的相关性来挖掘不同模态数据的共同语义特征，通过跨平台约束来学习不同平台上多媒体数据的共同特征表示。

为实现上述目的，本发明提供一种利用去噪自编码器学习跨平台多模态媒体数据共同特征表示的方法，该方法包括以下步骤：

步骤S1，建立优化目标方程；目标方程中，采用单层的去噪自编码器来重建不同平台和不同模态的媒体数据特征，在重建时，考虑模态相关性约束和跨平台约束；其中，所述不同平台和不同模态的媒体数据特征包括图像特征和文本特征；

步骤S2，求得所述优化目标方程的解析解，在求解析解过程中，通过寻找偏导数为零的点得到全局最优解；

步骤S3，利用边缘化方法对所得到的解析解进行求解，其中求解过程中通过弱大数定律来边缘化特征向量的随机噪声进行求解。

本发明还提供了一种利用去噪自编码器学习跨平台多模态媒体数据共同特征表示的装置，其特征在于，该装置包括：

建立模块，其用于建立优化目标方程；目标方程中，采用单层的去噪自编码器来重建不同平台和不同模态的媒体数据特征，在重建时，考虑模态相关性约束和跨平台约束；其中，所述不同平台和不同模态的媒体数据特征包括图像特征和文本特征；

解析解模块，其用于求得所述优化目标方程的解析解，在求解析解过程中，通过寻找偏导数为零的点得到全局最优解；

求解模块，其利用边缘化方法对所得到的解析解进行求解，其中求解过程中通过弱大数定律来边缘化特征向量的随机噪声进行求解。

本发明的有益效果：采用去噪自编码器可以提高底层特征的表达能力，模态相关性约束有利于寻找不同模态数据之间最相关的特征，平台适应约束可以减小不同平台上的多媒体数据特征分布的差异。

附图说明

图1是本发明所述的跨平台多模态自编码器的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。