[发明专利]基于渐进式多模态融合网络的虚假新闻检测方法及系统

说明书

本发明公开了一种基于渐进式多模态融合网络的虚假新闻检测方法及系统，所述方法包括：获取待检测新闻数据，所述新闻数据包括图像信息和文本信息；基于预训练的虚假新闻检测模型，对待检测新闻数据进行检测；其中，所述虚假新闻检测模型包括：视觉特征编码器，包括依次相连的n级视觉特征提取块；特征融合器：包括依次相连的n级特征融合块，文本特征编码器：输出端连接至第1级特征融合块；并且第i级视觉特征块的输出端均连接至第i级特征融合块，in，第n级视觉特征提取块和第n‑1级特征融合块的输出端均连接至第n级特征融合块。本发明通过渐进式的融合方法，实现了细粒度的多模态信息融合，提高了检测精度。

技术领域

本发明属于机器学习技术领域，尤其涉及一种基于渐进式多模态融合网络的虚假新闻检测方法及系统。

背景技术

随着移动互联网技术快速发展，社交媒体如：推特、微博等社交应用已成为人们获取海量信息的重要渠道，人们可以轻易地在社交媒体上发布和传播虚假新闻。并且，带有图片的文章在社交媒体上越来越流行，与纯文字文章相比，图片拥有更丰富的信息，更能吸引读者的关注。虚假新闻通常带有误导性或被篡改过的图片与文本相结合。所以，视觉内容已成为虚假新闻检测中不可忽视的重要组成部分，因此，有必要设置一种自动检测虚假新闻的方法对带有图片的文章的真伪性进行检测，以缓解虚假新闻带来的严重负面影响。

近年来，虚假信息检测的方法层出不穷，一种方法是人工事实核查，包括专家的事实核查和众包的事实核查两种方法。专家的事实核查准确性高，但费时耗力；众包的事实核查可扩展性强，但核查准确性不高。由于人工事实核查方法的局限性，有些研究人员利用专家知识从新闻文本内容中手工提取特征，然后利用传统的机器学习算法训练虚假新闻分类器，但这种方法缺乏全面性和灵活性。现有的深度学习模型由于具有较强的特征提取能力，能够自动的从新闻内容中提取新闻特征，取得了比较好的性能。

随着虚假新闻更加多样化，带有图片的文章的真伪性对虚假信息检测技术提出了更高的要求和挑战，一些基于深度学习的方法已经成功的应用于多模态虚假新闻检测。首先，一些模型如Khattar等人利用多模态变分编码器简单的将文本和图片的特征进行提取和融合，但它们特征提取和特征融合方面不够细致。第二，Jin等人创建了一个端到端的网络，使用RNN设计的虚假新闻检测模型，该模型利用了局部注意力机制结合文本图像和社会背景特征，Wang等人建立了事件对抗神经网络(EANN)，利用事件鉴别器学习文章中的文本和图片的特征表示，但增加额外的辅助特征会加大检测的成本。并且，这些方法只考虑了图片的空间域，没有考虑图片的频域，没有对图片信息进行充分的捕捉。第三，Wu等人提出了Multimodal Co-AttentionNetworks(MCAN)进行虚假信息检测，MCAN可以学习多模态特征之间的相互依赖关系，在虚假信息检测上取得了较好的效果，但MCAN只关注深层次特征的融合。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于渐进式多模态融合网络的虚假新闻检测方法及系统。通过渐进式的融合方法，实现了细粒度的多模态信息融合，提高了检测精度。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种基于渐进式多模态融合网络的虚假新闻检测方法，包括以下步骤：

获取待检测新闻数据，所述新闻数据包括图像信息和文本信息；

基于预训练的虚假新闻检测模型，对所述待检测新闻数据进行检测；其中，所述虚假新闻检测模型包括文本特征编码器、视觉特征编码器、特征融合器和分类器；

其中，所述视觉特征编码器包括依次相连的n级视觉特征提取块，所述特征融合器包括依次相连的n级特征融合块，所述文本特征编码器的输出端连接至第1级特征融合块；第i级视觉特征块的输出端均连接至第i级特征融合块，in；第n级视觉特征提取块和第n-1级特征融合块的输出端，均连接至第n级特征融合块。

进一步地，所述视觉特征编码器包括空间域特征编码器和频域特征编码器。