[发明专利]基于知识注入的双注意力网络的多模态讽刺意图识别方法

说明书

本发明提供了一种基于知识注入的双注意力网络的多模态讽刺意图识别方法，该方法包括：获取待识别数据内容，所述待识别数据内容包括若干文本、图片对；对文本中的词和图片中的对象进行编码，得到原始表示；基于待识别数据内容的隐性上下文信息对原始表示进行扩展，得到上下文感知表示；获取原始表示与上下文感知表示的注意力计算结果；根据注意力计算结果，计算原始跨模态对比表示和上下文感知跨模态对比表示；基于所述原始跨模态对比表示和所述上下文感知跨模态对比表示，计算讽刺意图识别结果。本发明有助于提高讽刺识别的整体性能，方便模型的实际应用，并对预测结果提供可解释性。

技术领域

本发明涉及一种基于知识注入的双注意力网络的多模态讽刺意图识别方法，属于多模态信息识别技术领域。

背景技术

基于多模态信息的讽刺表达是通过使用与图片中比喻场景相反的文本来达到含蓄表达强烈情感的目的。当前，基于文本和图片的讽刺表达在微博、推特等社交平台上普遍存在。由于讽刺表达能翻转文本中情感或观点的极性，因此，自动检测多模态讽刺意图在客户服务、意见挖掘以及各种需要了解人们真实情感的任务中具有重要意义。

实际中的多模态讽刺意图检测十分复杂。用户输入信息的语义表达不仅受到显性内容，还有隐性上下文的影响。显性内容是指输入的文本或图片中可观察到的场景内容，隐性上下文是指输入信息中不可见的关于场景的推理知识，包括涉及场景发展的过程和场景中人物的意图。基于文本和图片的完整语义表示，识别讽刺意图需要精准定位多模态信息中描述讽刺的部分并判别它们的语义差异。然而，现有多模态讽刺检测方法仅从输入文本和图片中学习特征，忽略了对内容背后隐性上下文的建模。同时，它们基于文本和图片未处理的全量信息去建模多模态信息间的语义差异，容易引入噪音，导致讽刺意图识别的准确率下降，模型的实际应用受到影响。如何将隐性上下文信息注入到多模态输入来获取更好的特征表示，并基于这些信息精准定位讽刺描述区域进行语义差异识别是亟待解决的问题。

发明内容

针对上述问题，本发明提出的基于知识注入的双注意力网络的多模态讽刺意图识别方法，利用知识增强的多维度注意力模块将隐性上下文知识注入到多模态输入表示中，根据人类的推理方式将隐性上下文知识划分为两个角度，即场景状态和情感状态，来构建多模态信息的完整语义表示。同时，使用双注意力网络基于联合记忆向量来协作执行图片和文本注意力模块，该联合记忆向量将先前的注意结果集合起来，以捕获文本和图片中涉及讽刺的共享语义。最后，基于联合嵌入空间，采用多维度跨模态匹配层从多维度区分多模态之间的差异。这有助于提高讽刺识别的整体性能，并对预测结果提供可解释性，方便模型的实际应用。

本发明的技术内容包括：

一种基于知识注入的双注意力网络的多模态讽刺意图识别方法，所述方法包括：

获取待识别数据内容，所述待识别数据内容包括：若干文本、图片对，所述文本包含若干个单词i，所述图片涉及多个对象j；

分别对所述文本中的单词i与所述图片中的对象j进行编码，得到单词原始表示与对象原始表示

基于所述待识别数据内容的隐性上下文信息，对所述单词原始表示与所述对象原始表示进行扩展，得到单词上下文感知表示与对象上下文感知表示

使用双注意力网络分别对所述单词原始表示所述对象原始表示以及所述单词上下文感知表示所述对象上下文感知表示进行注意力计算，获取原始表示与上下文感知表示的注意力计算结果；

针对原始表示与上下文感知表示的注意力计算结果，通过比对文本和图片间的差异，得到原始跨模态对比表示和上下文感知跨模态对比表示；

基于所述原始跨模态对比表示和所述上下文感知跨模态对比表示，计算所述待识别数据内容的讽刺意图识别结果。

进一步地，所述对所述图片中的对象j进行编码，得到对象原始表示包括：