[发明专利]一种基于多模态关系的网络谣言检测方法

摘要

本发明公开了一种基于多模态关系的网络谣言检测方法，包括：获取网络平台上发布的待检测的图像与相关的文本；通过预训练fasterR‑CNN模型提取出图像中包含不同类别物体的视觉特征向量；对文本进行预处理后，通过GRU进行语义向量的提取；通过注意力机制，捕捉视觉特征向量与语义向量的重要程度，并实现图像与文本之间跨模态关联，从而更新视觉特征向量与语义向量；并且，对于视觉特征向量与语义向量，通过注意力机制各自建模内部动态信息的关系，从而更新视觉特征向量与语义向量；将两部分更新得到的视觉特征向量与语义向量连接在一起，再通过二分类器，获得待检测的信息为谣言与真实类别的概率。该方法能够自动判断待检测信息是否属于网络谣言，且具有较高的检测准确度。