[发明专利]一种基于用户认知一致性推理的多模态虚假新闻检测方法

权利要求书

1.一种基于用户认知一致性推理的多模态虚假新闻检测方法，其特征在于步骤如下：

S1：嵌入编码模块

分别采用BERT编码器与ResNet-152对多模态新闻中包含的文本信息与图像信息进行嵌入编码表示；

S2：跨模态对齐模块

利用自注意力网络对嵌入编码的文本信息和图像信息进行特征提取，将特征输入到设计的交叉注意块中进行语义交互，将从新闻文本特征与新闻图像特征两个角度捕捉到的一致特征进行整合；

S3：上下文交互模块

设计上下文交互层，使所有的评论信息与全局评论语义进行全面地交互，从而挖掘并强化评论中的用户最关注的语义特征；

S4：协同推断模块

设计由协同引导块、交叉注意力块和聚合融合块组成的协同推理层，使多模态新闻语义与最受关注的评论特征进行协同推断，从而发掘新闻和评论之间的不一致信息提升模型的检测性能。

2.根据权利要求1所述基于用户认知一致性推理的多模态虚假新闻检测方法，其特征在于S2包括以下步骤：

S21：自注意力网络：采用多头自注意机制分别学习文本序列和图像中所有位置的全局相关性，给定查询Q，键K和值V，缩放后的点积注意力表示为：

其中，在文本内容中，设置在图像信息中，设置d是单词的嵌入维度，N是文本序列的长度；

S22：通过不同的线性投影将查询、键和值投影h次，然后这些结果并行地执行缩放的点积注意力；形式上，多头注意力网络可表示为：

head_i＝Attention(QWi_i^q,KW_i^k,VW_i^v)                          (4)

其中，W_i^q，W_i^k，W_i^v以及均为可训练的参数，并且H是d/h；O＝O^T与O＝O^G为嵌入编码的文本特征和嵌入编码的图像特征；

S23：交叉注意力块：将编码后的文本特征设为O^T作为查询，和图像特征O^G作为键和值；将编码后的图像特征为O^G表示查询，和文本功能O^T作为键和值；这个过程描述为：

其中，所有W皆为可训练的参数；

S24：将从新闻文本特征与新闻图像特征两个角度捕捉到的一致特征进行整合：

其中，‘；’是拼接的操作且为整体一致性特征。

3.根据权利要求2所述基于用户认知一致性推理的多模态虚假新闻检测方法，其特征在于S3包括以下步骤：

S31：通过平均池化策略处理所有评论得到全局特征C^avgp；通过最大池化策略处理所有评论得到全局特征C^maxp；

S32：采用S23的交叉注意力块接收C^maxp作为查询，C_i作为键，C^avgp作为值，从而获得第i条评论的潜在有用特征，即为

S33：双通道门控块：使用一条通道直接向下游传输所有信息，利用另一条通道通过门控机制筛选潜在有用特征，即首先在空间维度上转换潜在有用特征，然后利用线性门控过滤这些特征，表示为：

其中，W和b均为可训练的参数，⊙为元素间的乘积操作；

S34：从k条评论中挖掘的显著有用信息进行整合，从而获得所有评论的整体有价值声音O^CC：