[发明专利]一种基于用户认知一致性推理的多模态虚假新闻检测方法

说明书

本发明涉及一种基于用户认知一致性推理的多模态虚假新闻检测方法，包括以下步骤：对多模态新闻中包含的文本信息与图像信息进行嵌入编码表示；利用自注意力网络对嵌入编码的文本信息和图像信息进行特征提取，将特征输入到设计的交叉注意块中进行语义交互，将从新闻文本特征与新闻图像特征两个角度捕捉到的一致特征进行整合；设计上下文交互层，使所有的评论信息与全局评论语义进行全面地交互，从而挖掘并强化评论中的用户最关注的语义特征；设计由协同引导块、交叉注意力块和聚合融合块组成的协同推理层，使多模态新闻语义与最受关注的评论特征进行协同推断，从而发掘新闻和评论之间的不一致信息提升模型的检测性能。

技术领域

本发明属于电子信息技术领域，涉及一种基于用户认知一致性推理的多模态虚假新闻检测方法。

背景技术

社交媒体凭借其信息发布的快速性和消费的平等性，极大地促进了信息共享的民主化。因此，如何高效准确地识别社交媒体中传播的虚假新闻，目前已经成为社交媒体分析和信息内容安全领域的重大关键问题之一。

最近，在社交媒体上传播的新闻已经逐渐从基于文本的单模态形式转变为以图像、视频等内容为主的多模态形式。多模态新闻更吸引读者的浏览、吸收、分享与传播，能够为读者提供身临其境的阅读体验。然而，虚假新闻也充分利用了这一优势来吸引和误导读者，导致多模态虚假新闻的不断涌现。为了减轻虚假新闻带来的负面影响，自动检测社交媒体上的多模态假新闻已经成为了当前学术界、工业界乃至政府机构亟需解决的重要问题。

与单模态虚假新闻检测任务相比，多模态假新闻检测的挑战在于如何从模态不平衡、维度差异大以及语义空间不统一的多模型信息中学习有价值的特征提高检测性能。现有的研究主要集中在提取和学习不同多模态信息之间的关联特征进行检测，主要分为两类：第一种是多模态交互方法，其旨在通过不同的交叉交互机制来衡量它们之间的相似关系，从而匹配出相似语义特征。例如，Zhou等人首先从新闻中提取文本和视觉特征，然后进一步构建对齐的注意交互机制提取跨模态特征之间的匹配关系。第二种方法是引入与多模态信息相关的辅助任务，学习多任务之间的关联共享特征。其中，Jaiswal等人将深度多模态表示学习与离群值检测方法相结合，捕获多模态特征之间的一致性关系。与此同时，基于预训练模型的研究也越来越普遍，其借助诸如BERT、VGG-19等预训练模型学习新闻中文本和图像的深度关联语义，从而显著提高检测性能。然而，这些方法虽然取得了一定的性能，但仍存在比较严重的缺陷缺陷，即难以捕获不同模态之间的不一致信息。传统的检测方法通常构建一系列对齐交互模型来捕获不同模态之间的共同相似语义以提高检测性能，但难以捕获多模态之间的不一致信息并将这种高可信度指示特征应用于检测。为解决这些问题，本发明观察到用户质疑谣言时的一系列认知行为能够容易地发现多模态假新闻中的不一致信息。基于此，如何建模用户认知谣言的过程进行多模态信息中差异性特征的提取是多模态虚假新闻检测研究的关键。

发明内容

要解决的技术问题

针对当前多模态虚假信息检测方法中存在的缺陷，受用户识别谣言的认知过程的启发，本发明提出了基于用户认知一致性推理的多模态虚假新闻检测方法(UCCIN)，其分别从以下三个视角：从新闻视觉信息与文本内容之间、评论与评论之间、新闻与评论之间等多层次全面挖掘假新闻的不一致信息，提高多模态虚假新闻检测能力。具体来说，在UCCIN中，本发明首先设计了跨模态对齐层，对新闻中的文本信息和视觉信息进行语义对齐，以检查新闻语义的一致性。为了从评论中获取读者广泛讨论的有价值信息，本发明开发了上下文交互层使每个评论信息与全局评论语义进行交互，并通过设计的双通道门控块过滤与新闻无关的评论语义，从而强化最受关注的评论语义。最后，本发明设计了协同推理层驱动最关注的评论语义与新闻的一致语义进行交互推断，并对推断的不一致特征进行聚合和融合，以增强新闻与评论之间的检测能力。

技术方案

一种基于用户认知一致性推理的多模态虚假新闻检测方法，其特征在于步骤如下：

S1：嵌入编码模块