[发明专利]基于传播异质图建模的社交媒体多模态谣言检测方法

说明书

本发明公开了一种基于传播异质图建模的社交媒体多模态谣言检测方法，在特征提取阶段，采用预训练模型提取文本和图像信息以及基于深度学习的图卷积神经网络模型抓取社交媒体的结构信息，该方法能够针对社交媒体的传播特性允许信息通过构造的图网络进行传播，从而获取到更丰富的信息，并且该方法可以充分利用有限的标记数据和大量未标记的数据，减少人工标记的资源浪费。在谣言检测阶段，利用网络结构信息和多模态信息融合后的特征，使用softmax分类器进行谣言检测。通过本专利提出的方法，可以自动快速准确的实现谣言检测，从而减少虚假信息、不实言论的传播及其造成的恶劣影响。

技术领域

本发明涉及网络空间安全技术领域，尤其涉及一种基于传播异质图建模的社交媒体多模态谣言检测方法。

背景技术

随着社会的发展，传统社交媒体成为用户分享信息的重要来源，社交媒体在信息传播方面有着不可忽视的影响力。但是随之而来的是各种虚假信息的病毒式传播，谣言消息的泛滥引发公众恐慌，扰乱社会秩序，影响社会舆论，操控大众焦点，成为社会极大的不稳定因素。因此，提出一个行之有效的自动检测虚假谣言信息的方法，对于维持社会生活稳定和网络空间安全具有重要的意义。

为了抑制社交媒体谣言信息泛滥的问题，学术界提出了基于手工特征和机器学习的识别技术。基于手工特征的识别技术一般由专业人员判断同时需要用户参与，由于消息的正确性完全由人工判断，所以非常依赖鉴定者的能力和知识，而且谣言检测周期长等弊端非常明显，所以这种方法随着信息传播爆炸式增速，谣言规模指数式增长，逐渐的不能满足检测需求。随着人工智能技术的发展，基于机器学习的识别技术被提出。这种技术弥补了人工识别方法的缺点，提高识别的正确性，减轻人工审核造成的人力资源浪费。这类方法首先运用特征工程抽取信息特征，针对不同的谣言检测对象分析更适合的特征，或者从不同角度发现更具有代表性的特征，之后再构建分类器将事件分类为谣言和非谣言。但是这类方法依然存在缺陷，需要在特征的创建过程中引入相关专业领域知识，并且抽取过程复杂，实现成本较高。

另外，谣言的传播过程具有一定的社交网络特性，比如群体性、相似性等，目前存在的大部分方法都是从谣言数据本身的内容出发，并没有充分考虑到社交网络的拓扑结构特性以及信息传播特性。同时基于内容进行的谣言检测方法大多数仅仅通过文本内容判断社交媒体信息是否属于谣言信息，社交媒体中图片现在已经成为表达态度、传递信息的又一重要载体，此外，用户相关的社交媒体平台的信息(如点赞数，转发数等)也对判断谣言提供重要依据。但是，目前的检测方案都没有考虑这些因素，因此，检测准确度有待提升。

发明内容

本发明的目的是提供一种基于传播异质图建模的社交媒体多模态谣言检测方法，可以自动快速准确的实现谣言检测，从而减少虚假信息、不实言论的传播及其造成的恶劣影响。

本发明的目的是通过以下技术方案实现的：

一种基于传播异质图建模的社交媒体多模态谣言检测方法，包括：

获取包含文本、图像以及社交信息的待检测事件；

基于预训练模型进行从文本与图像中各自提取文本特征与图像特征，并对社交信息进行特征编码，获得社交信息特征；

基于文本特征、图像特征以及社交信息特征构建社交媒体异质信息网络图结构，通过节点级别的注意力机制来捕获不同的节点邻居的重要性，通过信息聚合，实现将不同类型节点的信息通过注意力分数聚合到一起，实现特征的融合；

将融合的特征输入至分类器，获得检测结果。

由上述本发明提供的技术方案可以看出，充分挖掘社交网络上内容丰富的文本信息和图像信息，结合基于社交网络平台的社交信息，利用多模态的信息实现社交网络谣言检测。

附图说明