[发明专利]基于同一特征空间的图文数据融合情感分类方法和装置

说明书

本发明涉及一种基于同一特征空间的图文数据融合情感分类方法和装置。该方法的步骤包括：1)使用自动编码机提取多模态数据中图片的压缩特征表达；2)使用CNN‑DCNN网络提取多模态数据中文字的压缩特征表达；3)将步骤1)、2)得到的图片特征和文本特征映射到同一个特征向量空间，得到图文整体特征；4)通过分类器对步骤3)得到的图文整体特征进行分类，得到情感分类结果。本发明将图、文特征映射到同一个空间下，再对整体信息进行情感分类，可以同时捕捉到微博等多模态数据的图、文数据之间语义相关性和情感相关性。

技术领域

本发明属于信息技术领域，具体涉及一种基于同一特征空间的图文数据融合情感分类方法和装置。

背景技术

多模态是指通过文本、声音、图片、视频等资源或模型来组成消息的一种通信方式。用户发布的包含图片的图文微博、包含视频的文字与视频微博等等都属于多模态的数据。常见的多模态的形式有：图片+文本，声音+视频，文本+音频等形式，除此之外还有Emoji表情、链接等模态的混合形式。有学者(Pérez-RosasV,MihalceaR,Morency P.L,.(2013).Utterance-level multimodal sentiment analysis[C]//.Proceedings of the 51stAnnual Meeting of the Association for Computational Linguistics(Volume 1:LongPapers).1:973-982.Association for Computational Linguistics.)使用一份包含音频、视频以及文字模态的数据，分别提取出三个模态的特征，然后将三个模态的特征合起来放进SVM中来进行融合。还有学者(FengF,WangX,LiR.(2014).Cross-modal retrievalwith correspondence autoencoder.Proceedings of the 22nd ACM internationalconference on Multimedia.7-16.ACM.)提出了一种多模态检索的自动编码机，在视觉和文字自动编码机间共享一个编码层来学习参数。

仅仅针对文本或者Emoji表情或者图片或者音频等进行情感分类研究，这样的情感分类方法不能够很好的捕获到整体的情感极性。将三个模态的特征合起来放进SVM中来进行融合，使得不同的特征在同一个空间尽可能靠近，但是难以提取足够的跨模态特征。多模态检索的自动编码机可以获取部分的关联特征，但是会损失单模态上的独特信息。

发明内容

本发明针对以上问题，提供一种基于同一特征空间的图文数据融合情感分类方法和装置，可以同时捕捉到微博图、文数据之间语义相关性和情感相关性。

本发明采用的技术方案如下：

一种基于同一特征空间的图文数据融合情感分类方法，包括以下步骤：

1)使用自动编码机提取多模态数据中图片的压缩特征表达；

2)使用CNN-DCNN网络提取多模态数据中文字的压缩特征表达；

3)将步骤1)、2)得到的图片特征和文本特征映射到同一个特征向量空间，得到图文整体特征；

4)通过分类器对步骤3)得到的图文整体特征进行分类，得到情感分类结果。

进一步地，步骤1)所述自动编码机通过输入层将输入图片展开成向量x，通过一个隐藏层h，然后通过输出层x^提取有用的特征，输入层、隐藏层、输出层均是全连接网络，其中输入层和输出层维度一致，隐藏层的神经元数目小于输入层和输出层，自动编码机的网络的目标是最小化输入与输出的差距。

进一步地，步骤2)使用基于CNN-DCNN网络的编码-解码模型提取输入文本的特征表达，用CNN网络编码文本特征，再用DCNN网络解码，以获取文本的全局信息。