[发明专利]一种基于多模态交互的谣言检测方法及系统

权利要求书

1.一种基于多模态交互的谣言检测方法，其特征在于，包括：

获取若干条包含文本内容与视觉内容的待检测推文；

基于每条待检测推文的文本内容，提取每条待检测推文的序列增强文本特征；

基于每条待检测推文的视觉内容，提取每条待检测推文的序列增强视觉特征；

基于序列增强文本特征和序列增强视觉特征，使用交互使用注意力机制，获得带有文本注意力的视觉特征和带有视觉注意力的文本特征，并基于带有文本注意力的视觉特征和带有视觉注意力的文本特征，生成视觉特征和文本特征；

将带有文本注意力的视觉特征、带有视觉注意力的文本特征、视觉特征和文本特征进行特征融合，得到融合后的特征；

基于融合后的特征，得到每条待检测推文是否为谣言的结果。

2.如权利要求1所述的一种基于多模态交互的谣言检测方法，其特征在于，所述生成视觉特征和文本特征的具体方法为：

以带有视觉注意力的文本特征为输入矩阵，以带有文本注意力的视觉特征为目标矩阵，通过Transformer映射得到视觉特征；

以带有文本注意力的视觉特征为输入矩阵，以带有视觉注意力的文本特征为目标矩阵，通过Transformer映射得到文本特征。

3.如权利要求1所述的一种基于多模态交互的谣言检测方法，其特征在于，所述特征融合的具体方法为：

将带有文本注意力的视觉特征与视觉特征拼接后，通过由全连接层组成的融合识别块，得到第一早期融合结果；

将带有视觉注意力的文本特征与文本特征拼接后，通过由全连接层组成的融合识别块，得到第二早期融合结果；

将第一早期融合结果和第二早期融合结果通过分配权重融合，得到融合后的特征。

4.如权利要求1所述的一种基于多模态交互的谣言检测方法，其特征在于，所述提取每条待检测推文的序列增强文本特征的具体方法为：

对每条待检测推文的文本内容进行文本预处理，基于预处理后的文本内容，得到每条待检测推文的初级文本特征表示；

基于每条待检测推文的初级文本特征表示，得到每条待检测推文的具有上下文信息的文本特征；

使用自注意力机制增强具有上下文信息的文本特征，得到序列增强后的文本特征。

5.如权利要求4所述的一种基于多模态交互的谣言检测方法，其特征在于，所述文本预处理包括：删除每条待检测推文中的停用词、用户句柄和标点符号。

6.如权利要求1所述的一种基于多模态交互的谣言检测方法，其特征在于，所述提取每条待检测推文的序列增强视觉特征的具体方法为：

对每条待检测推文的视觉内容进行图像预处理，基于预处理后的视觉内容，得到每条待检测推文的区域特征；

基于每条待检测推文的区域特征，通过序列注意力块，得到序列增强视觉特征。

7.如权利要求6所述的一种基于多模态交互的谣言检测方法，其特征在于，所述图像预处理包括：图像尺寸调整、随机水平翻转和像素值标准化。

8.一种基于多模态交互的谣言检测系统，其特征在于，包括：

数据获取模块，其被配置为：获取若干条包含文本内容与视觉内容的待检测推文；

序列增强文本特征提取模块，其被配置为：基于每条待检测推文的文本内容，提取每条待检测推文的序列增强文本特征；

序列增强视觉特征提取模块，其被配置为：基于每条待检测推文的视觉内容，提取每条待检测推文的序列增强视觉特征；

交互模块，其被配置为：基于序列增强文本特征和序列增强视觉特征，使用交互使用注意力机制，获得带有文本注意力的视觉特征和带有视觉注意力的文本特征，并基于带有文本注意力的视觉特征和带有视觉注意力的文本特征，生成视觉特征和文本特征；

特征融合模块，其被配置为：将带有文本注意力的视觉特征、带有视觉注意力的文本特征、视觉特征和文本特征进行特征融合，得到融合后的特征；

检测模块，其被配置为：基于融合后的特征，得到每条待检测推文是否为谣言的结果。