[发明专利]一种基于协同神经网络的虚假新闻检测方法

权利要求书

1.一种基于协同神经网络的虚假新闻检测方法，其特征在于：包括文本特征提取模块、视觉语义特征提取模块、视觉篡改特征提取模块、相似性度量模块和多模态融合模块，还如下步骤：

步骤S1：文本特征提取模块和视觉语义特征提取模块负责提取文本和视觉的语义特征，并将它们映射到同一空间；

步骤S2：视觉篡改特征提取模块负责提取视觉物理特征和篡改特征；

步骤S3：相似性度量模块针对图像与文本不匹配的问题可以直接度量出新闻多模式数据的相似度。

2.如权利要求1所述的一种基于协同神经网络的虚假新闻检测方法，其特征在于：所述文本特征提取模块中，采用BERT预训练模型提取文本特征，使用BiGRU提取BERT提取的特征，BiGRU提取文本特征的时间属性，并将文本特征转化为文本特征序列。

3.如权利要求1所述的一种基于协同神经网络的虚假新闻检测方法，其特征在于：所述视觉语义特征提取模块中，将卷积神经网络的输出作为图像的低层特征，再与篡改检测部分融合。

4.如权利要求3所述的一种基于协同神经网络的虚假新闻检测方法，其特征在于：通过ResNet50预训练模型对输入图像进行编码，在预训练的ResNet50模型的分类层之前，使用1024维全连通层对图像特征进行编码。

5.如权利要求1所述的一种基于协同神经网络的虚假新闻检测方法，其特征在于：所述视觉篡改特征提取模块中，通过视觉变换或篡改对图像进行信息处理，并应用ResNet50模型提取图像篡改特征。

6.如权利要求1所述的一种基于协同神经网络的虚假新闻检测方法，其特征在于：所述相似性度量模块中，通过视觉语义特征提取模块和文本特征提取模块得到文本和图像的矢量表示。

7.如权利要求1所述的一种基于协同神经网络的虚假新闻检测方法，其特征在于：所述多模态融合模块中，通过文本特征提取模块、视觉语义特征提取模块、视觉篡改特征提取模块、相似性度量模块得到图像和文本的融合特征，并赋予注意权重。

8.如权利要求7所述的一种基于协同神经网络的虚假新闻检测方法，其特征在于：所述多模态融合模块中，利用注意机制为物理层次结构分配权重图像特征以及图像和文本的语义层次特征。