[发明专利]一种基于多模态交互的谣言检测方法及系统

说明书

本发明提供了一种基于多模态交互的谣言检测方法及系统，包括：获取若干条待检测推文；提取每条待检测推文的序列增强文本特征；提取每条待检测推文的序列增强视觉特征；基于序列增强文本特征和序列增强视觉特征，使用交互使用注意力机制，获得带有文本注意力的视觉特征和带有视觉注意力的文本特征，并基于带有文本注意力的视觉特征和带有视觉注意力的文本特征，生成视觉特征和文本特征；将带有文本注意力的视觉特征、带有视觉注意力的文本特征、视觉特征和文本特征进行特征融合，基于融合后的特征，得到每条待检测推文是否为谣言的结果。能够有效地融合待检测推文中的多模态数据并生成联合表示，提高了谣言检测的精度。

技术领域

本发明属于自然语言处理技术领域，尤其涉及一种基于多模态交互的谣言检测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

伴随着硬件技术的提升与网络技术的进步，社交媒体获得了前所未有的发展，已经成为人们日常生活中不可或缺的一部分。社交媒体因其低成本、容易访问与传播速度迅速等特点，使其成为重要的新闻来源并对传统媒体起到支撑作用。社交媒体上的信息已被用于市场营销、公共事件讨论和舆情分析、谣言检测等多个领域。用户在社交媒体平台便捷的发布观点、获取新闻、相互交流。与此同时，假新闻与谣言也通过社交媒体迅速传播，误导公众甚至造成恶劣的社会影响。鉴于人工检测花销巨大且检测速度较慢，自动谣言检测方法就显得尤为重要。

以往的研究集中于使用手工特征或基于深度学习的单模态特征进行谣言检测，缺点在于忽略了推文中多模态数据的互补性。相较于推文中的文本内容，推文中的视频、图像等视觉元素更能吸引读者的注意力。因此，也有一部分方法综合分析推文中的多模态内容进行谣言检测。但是，这些方法大部分在异质模态空间融合数据，无法避免多模态数据间的数值性差异，难以捕捉异质模态数据间依赖关系。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种基于多模态交互的谣言检测方法及系统，能够有效地融合待检测推文中的多模态数据并生成联合表示，提高了谣言检测的精度。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种基于多模态交互的谣言检测方法，其包括：

获取若干条包含文本内容与视觉内容的待检测推文；

基于每条待检测推文的文本内容，提取每条待检测推文的序列增强文本特征；

基于每条待检测推文的视觉内容，提取每条待检测推文的序列增强视觉特征；

基于序列增强文本特征和序列增强视觉特征，使用交互使用注意力机制，获得带有文本注意力的视觉特征和带有视觉注意力的文本特征，并基于带有文本注意力的视觉特征和带有视觉注意力的文本特征，生成视觉特征和文本特征；

将带有文本注意力的视觉特征、带有视觉注意力的文本特征、视觉特征和文本特征进行特征融合，得到融合后的特征；

基于融合后的特征，得到每条待检测推文是否为谣言的结果。

进一步的，所述生成视觉特征和文本特征的具体方法为：

以带有视觉注意力的文本特征为输入矩阵，以带有文本注意力的视觉特征为目标矩阵，通过Transformer映射得到视觉特征；

以带有文本注意力的视觉特征为输入矩阵，以带有视觉注意力的文本特征为目标矩阵，通过Transformer映射得到文本特征。

进一步的，所述特征融合的具体方法为：

将带有文本注意力的视觉特征与视觉特征拼接后，通过由全连接层组成的融合识别块，得到第一早期融合结果；