[发明专利]细粒度的多模态虚假新闻检测方法

说明书

本发明涉及一种细粒度的多模态虚假新闻检测方法，为：获取待检测多模态新闻的新闻文本和新闻图片；从新闻文本中提取人物类型、地点类型和事件类型的文本实体；从新闻图片中提取图片文本，人物类型、地点类型和事件类型的视觉实体，以及新闻图片的视觉CNN特征；将新闻文本与图片文本拼接后输入BERT模型，获得文本特征；使用BERT模型获取人物类型、地点类型和事件类型视觉实体的视觉实体特征；融合上述特征，获得文本表示、视觉CNN表示和视觉实体表示；基于特征向量计算跨模态的人物相似度、地点相似度和事件相似度；基于上述信息计算所述多模态新闻的多模态表示；基于多模态新闻的多模态表示判断该多模态新闻的真实性。

技术领域

本发明涉及一种细粒度的多模态虚假新闻检测方法。适用于新闻可信度认证领域。

背景技术

近年来社交媒体已成为重要的新闻信息来源，人们逐渐习惯在社交媒体上获取最新的新闻并自由地发表自己的观点。然而，社交媒体的便利性和开放性也为虚假新闻的传播提供了极大的便利，造成了很多消极的社会影响。因此，能否利用技术手段对虚假新闻进行自动检测已经成为自媒体时代亟待解决的问题。文本作为新闻事件的主要描述载体，是传统虚假新闻检测方法的关注重点。最近，假新闻从传统的基于文本的新闻形式逐步向基于多模态内容的新闻形式演变。因此，基于多模态内容(本专利中指文本和图像模态)的检测方法，即多模态虚假新闻检测，成为当前的研究热点。

目前多模态虚假新闻检测任务中最常用的多模态融合框架是：利用预训练的VGG19模型提取通用的视觉特征，然后将其与文本特征进行简单拼接用于分类。基于这个框架，Wang等人引入事件分类作为假新闻分类的辅助任务，以指导模型学习事件不变的多模态特征，从而获得更好的泛化效果；Wang等人提出了一种元神经过程的方法来检测突发事件中的假新闻；Dhruv等人将此框架修改为多模态变分自动编码器，以学习多模态内容的共享表示用于分类；Singhal等人首次将预训练语言模型(文中指BERT)引入该框架。

尽管这些方法在多模态虚假新闻检测任务上取得了显著进展，他们在建模多模态表达上仍存在不足。现有方法往往利用通用的多模态特征表达进行分类，忽略了如何针对虚假新闻检测的具体任务建模有效的多模态表达，从而限制了多模态内容在检测中的有效性。具体地，1)利用在ImageNet上预训练的VGG19 模型提取图片的全局视觉特征，忽略了图片局部展现的高层语义。这种对图片内容的粗粒度建模导致他们无法充分建模图片中的有效线索，进而很难实现有效的多模态推理；2)通过简单的拼接等方式进行粗粒度的多模态特征融合，忽略了虚假新闻中图文交互的复杂性，进而无法充分捕捉潜在的多模态线索。

发明内容

本发明要解决的技术问题是：针对上述存在的问题，提供一种细粒度的多模态虚假新闻检测方法。

本发明所采用的技术方案是：一种细粒度的多模态虚假新闻检测方法，其特征在于：

获取待检测多模态新闻的新闻文本和新闻图片；

从新闻文本中提取人物类型、地点类型和事件类型的文本实体；

从新闻图片中提取图片文本，人物类型、地点类型和事件类型的视觉实体，以及新闻图片的视觉CNN特征，其中新闻图片的视觉CNN特征包括分区域从该新闻图片中提取出的视觉特征；

将新闻文本与图片文本拼接后输入BERT模型，获得文本特征；

使用BERT模型获取人物类型、地点类型和事件类型视觉实体的视觉实体特征；

利用多模态协同注意力Transformer模型融合文本特征、视觉CNN特征和视觉实体特征，获得由视觉实体和视觉CNN特征增强的文本表示、由文本增强的视觉CNN表示和由文本增强的视觉实体表示；

基于文本实体和视觉实体的特征向量计算跨模态的人物相似度、地点相似度和事件相似度；