[发明专利]一种融合关系差异信息的多模态讽刺识别系统

权利要求书

1.一种融合关系差异信息的多模态讽刺识别系统，其特征在于，包括：

一个图文特征提取模块，用于提取图文数据的特征表示；

一个图文关系融合模块，用于匹配并组合文本图像一致信息用于预测；

一个图文差异融合模块，用于提取模态内文本中的不一致性信息、提取模态间图文之间的不一致性信息，并组合不一致信息用于预测；

一个讽刺识别模块，用于判别多模态数据中是否存在讽刺感。

2.根据权利要求1所述的一种融合关系差异信息的多模态讽刺识别系统，其特征在于，所述图文特征提取模块，对图像模态、文本模态、话题模态进行初级信息的特征抽取。

3.根据权利要求1所述的一种融合关系差异信息的多模态讽刺识别系统，其特征在于，所述图文关系融合模块，借鉴多头注意机制的思想，设计一个图像文本匹配层来捕捉并融合文本和图像之间的一致信息。

4.根据权利要求1所述的一种融合关系差异信息的多模态讽刺识别系统，其特征在于，所述图文差异融合模块，抽取图像实体及图像文本的融合向量，再捕捉其与文本信息模态间的不一致信息；利用相同模块，捕捉文本与话题模态内的不一致信息。

5.根据权利要求1所述的一种融合关系差异信息的多模态讽刺识别系统，其特征在于，所述讽刺识别模块，根据图文关系、差异等模块提取的图文特征，判别数据中是否存在讽刺感。