[发明专利]基于同一特征空间的图文数据融合情感分类方法和装置

权利要求书

1.一种基于同一特征空间的图文数据融合情感分类方法，其特征在于，包括以下步骤：

1)使用自动编码机提取多模态数据中图片的压缩特征表达；

2)使用CNN-DCNN网络提取多模态数据中文字的压缩特征表达；

3)将步骤1)、2)得到的图片特征和文本特征映射到同一个特征向量空间，得到图文整体特征；

4)通过分类器对步骤3)得到的图文整体特征进行分类，得到情感分类结果；

其中，步骤3)通过统一的损失函数将图片、文本的特征映射到同一个特征向量空间，并将图片特征与文本特征进行组合，形成成对的图文特征；步骤3)包括：

a)设计两个损失函数，一个针对成对的图文特征是否相近，另一个针对预测结果和标签是否一致；

b)将两个损失函数统一成一个损失函数，在同一空间下进行约束；

c)训练网络，使得成对图文特征在空间内尽可能相近并且使得具有相同标签的特征在空间内尽可能相近；

所述两个损失函数为：

针对成对的图文特征是否相近的损失函数：

针对预测结果和标签是否一致的损失函数：

将所述两个损失函数统一成一个损失函数，为：

其中，D(p||q)是p和q的KL散度之和，Δ₁和Δ₂是归一化参数，用来将两个损失函数归一化；表示抽取到第i个图片的图片特征，表示抽取到第i个文本的文本特征；

M(·)是图、文特征的合并过程，C(·)是情感分类过程；θ是控制模型中关注特征相似程度与关注整体分类程度的超参数。

2.根据权利要求1所述的方法，其特征在于，步骤1)所述自动编码机通过输入层将输入图片展开成向量x，通过一个隐藏层h，然后通过输出层x^提取有用的特征，输入层、隐藏层、输出层均是全连接网络，其中输入层和输出层维度一致，隐藏层的神经元数目小于输入层和输出层，自动编码机的网络的目标是最小化输入与输出的差距。

3.根据权利要求1所述的方法，其特征在于，步骤2)使用基于CNN-DCNN网络的编码-解码模型提取输入文本的特征表达，用CNN网络编码文本特征，再用DCNN网络解码，以获取文本的全局信息。

4.根据权利要求1所述的方法，其特征在于，步骤4)所述分类器为随机森林分类器。

5.根据权利要求1所述的方法，其特征在于，所述自动编码机使用ILSVRC-2012数据集进行预训练，所述CNN-DCNN网络在其他的中文文本上，使用预训练Word2Vec的语料进行训练，以提高特征提取的质量。

6.一种采用权利要求1～5中任一权利要求所述方法的基于同一特征空间的图文数据融合情感分类装置，其特征在于，包括：

图片特征提取模块，负责使用自动编码机提取多模态数据中图片的压缩特征表达；

文字特征提取模块，负责使用CNN-DCNN网络提取多模态数据中文字的压缩特征表达；

图文特征联合模块，负责将提取的图片特征和文本特征映射到同一个特征向量空间，得到图文整体特征；

分类模块，负责通过分类器对图文整体特征进行分类，得到情感分类结果。

7.根据权利要求6所述的装置，其特征在于，所述图文特征联合模块通过统一的损失函数将图片、文本的特征映射到同一个特征向量空间，并将图片特征与文本特征进行组合，形成成对的图文特征；所述分类模块采用的分类器为随机森林分类器。