[发明专利]一种基于协同神经网络的虚假新闻检测方法

说明书

本发明适用于计算机视觉与图形图像处理技术领域，提供了一种基于协同神经网络的虚假新闻检测方法，包括文本特征提取模块、视觉语义特征提取模块、视觉篡改特征提取模块、相似性度量模块和多模态融合模块，还如下步骤：步骤S1：文本特征提取模块和视觉语义特征提取模块负责提取文本和视觉的语义特征，并将它们映射到同一空间；步骤S2：视觉篡改特征提取模块负责提取视觉物理特征和篡改特征；通过五个子网络的共同工作，很好地捕捉了多模态新闻数据中不同模态数据的相似性、文本和图像的语义层次特征以及视觉模式的一些物理层次特征，使得在复杂场景下的虚假新闻检测比现有模型更适合。

技术领域

本发明属于计算机视觉与图形图像处理技术领域，尤其涉及一种基于协同神经网络的虚假新闻检测方法。

背景技术

基于机器学习的方法，该方法首先利用特征工程提取情感极性、用户影响、地理位置，然后利用训练决策树、支持向量机等分类器将事件分为假新闻和真新闻。之后根据情感得分，微博上网址的数量、用户注册的天数等特征采用决策树来检测谣言的算法。

基于深度学习的单模态方法，该方法通过深度学习模型自动构造深层特征来实现对于虚假新闻的检测，该方法能够提高对于虚假新闻的检测精度，但是忽略了作为多模态数据集合的新闻所具有的多模态数据特征，从而致使虚假新闻的文本和视觉信息无法被有效利用。

基于深度学习的多模态方法，该方法利用了一种图像-文本一致性驱动的多模态方法来分析社交媒体的情感，一种新的注意递归神经网络以及视觉融合的动态可解释性推荐。该方法主要解决的是如何整合不同形式的信息但是因为该模型采用了预先训练好的图像描述生成模型导致其不能直接计算多模态数据的相似度，因此极大地限制了场景的使用。

直接衡量跨模式数据相似度的方法，该方法在虚假新闻检测中用于检测假新闻图片和文本的相似度，并将其作为多模态数据中假新闻识别特征的一部分。

分支网络，设计一个分支网络是为了更好地提取视觉语义向量以获得更好的图像语义表达进而可以更好地捕捉假新闻在视觉表达中的语义特征。

误差水平分析算法、卷积神经网络，这两种技术是为了在物理层面上能够更好地判断新闻图片的真实性。

发明内容

本发明提供一种基于协同神经网络的虚假新闻检测方法，旨在解决上述问题。

本发明是这样实现的，一种基于协同神经网络的虚假新闻检测方法，包括文本特征提取模块、视觉语义特征提取模块、视觉篡改特征提取模块、相似性度量模块和多模态融合模块，还如下步骤：

步骤S1：文本特征提取模块和视觉语义特征提取模块负责提取文本和视觉的语义特征，并将它们映射到同一空间；

步骤S2：视觉篡改特征提取模块负责提取视觉物理特征和篡改特征；

步骤S3：相似性度量模块针对图像与文本不匹配的问题可以直接度量出新闻多模式数据的相似度。

优选的，所述文本特征提取模块中，采用BERT预训练模型提取文本特征，使用BiGRU提取BERT提取的特征，BiGRU提取文本特征的时间属性，并将文本特征转化为文本特征序列。

优选的，所述视觉语义特征提取模块中，将卷积神经网络的输出作为图像的低层特征，再与篡改检测部分融合。

优选的，通过ResNet50预训练模型对输入图像进行编码，在预训练的ResNet50模型的分类层之前，使用1024维全连通层对图像特征进行编码。

优选的，所述视觉篡改特征提取模块中，通过视觉变换或篡改对图像进行信息处理，并应用ResNet50模型提取图像篡改特征。

优选的，所述相似性度量模块中，通过视觉语义特征提取模块和文本特征提取模块得到文本和图像的矢量表示。