[发明专利]一种虚假新闻检测方法、装置、电子设备及存储介质

权利要求书

1.一种虚假新闻检测方法，其特征在于，包括：

步骤S1：提取新闻中的图像和文本的特征，使用自注意力机制提取全局信息，形成图像特征序列和文本特征序列；

步骤S2：对图像特征序列进行判别，得到图像预测值；对文本特征序列进行判别，得到文本预测值；

步骤S3：采用交叉注意力机制融合图像特征序列和文本特征序列，得到多模态特征序列；对多模态特征序列进行判别，得到多模态预测值；

步骤S4：融合图像特征预测值、文本特征预测值和多模态特征预测值，得到最终的预测值，通过最终的预测值判断得到真实新闻与虚假新闻；

步骤S5：通过对图像特征序列与文本特征序列进行计算，得到相似度；对比真实新闻与虚假新闻的相似度结果，优化特征提取参数。

2.如权利要求1所述的虚假新闻检测方法，其特征在于，所述步骤S1包括：

步骤S1.1：通过预训练的ResNet50深度神经网络提取新闻中图像的局部信息；

步骤S1.2：通过多头注意力机制提取新闻中图像的全局信息，得到图像的特征序列；

步骤S1.3：对新闻中的文本进行词嵌入；

步骤S1.4：通过LSTM长短期记忆网络提取新闻文本的信息；

步骤S1.5：利用自注意力机制提取新闻文本的信息，得到文本的特征序列。

3.如权利要求2所述的虚假新闻检测方法，其特征在于，所述步骤S2包括：

步骤S2.1：将图像的特征序列通过全连接层得到图像预测值；

步骤S2.2：将文本的特征序列通过全连接层得到文本的预测值。

4.如权利要求3所述的虚假新闻检测方法，其特征在于，所述步骤S3包括：

步骤S3.1：将图像特征序列和文本特征序列通过交叉自注意力机制进行融合，得到包含文本信息的图像特征序列和包含图像信息的文本特征序列；

步骤S3.2：拼接包含文本信息的图像特征序列和包含图像信息的文本特征序列，得到多模态特征序列；

步骤S3.3：将多模态特征序列通过全连接层得到多模态特征预测值。

5.如权利要求4所述的虚假新闻检测方法，其特征在于，所述步骤S4包括：

步骤S4.1：计算总预测值；

设置图像预测值的权重参数为，设置文本预测值的权重参数为；计算总预测值；当新闻中只有图像时，所述总预测值；当新闻中只有文本时，所述总预测值；当输入数据同时含有图像和文本时，所述总预测值

。

6.如权利要求5所述的虚假新闻检测方法，其特征在于，所述步骤S4还包括：

S4.2：计算分类；

根据S4.1得到的总预测值以0.5为分类阈值得到最终的分类；当大于等于0.5时，新闻分类结果为虚假新闻，当小于0.5时，新闻分类结果为真实新闻。

7.如权利要求2所述的虚假新闻检测方法，其特征在于，所述步骤S5包括：

步骤S5.1：将图像特征序列通过两个共享参数的全连接层，得到图像特征；将文本特征序列，通过两个共享参数的全连接层，得到文本特征；

步骤S5.2：计算图像特征与文本特征之间的余弦相似度。

8.一种虚假新闻检测预测的装置，其特征在于，包括：

图像特征提取与检测模块：用于提取图像特征及对图像特征序列进行判别；

文本特征提取与检测模块：用于提取文本特征及对文本特征序列进行判别；

多模态对比学习模块：用于将图像特征序列和文本特征序列进行对比学习；

多模态特征融合与检测模块：用于融合图像特征序列和文本特征序列与对多模态特征序列进行判别；

后期融合模块：用于融合图像特征预测值、文本特征预测值和多模态特征预测值，输出检测结果。

9.一种电子设备，其特征在于，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行权利要求1至7任一项所述的虚假新闻检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1至7任一项所述的虚假新闻检测方法。