[发明专利]基于传播异质图建模的社交媒体多模态谣言检测方法

权利要求书

1.一种基于传播异质图建模的社交媒体多模态谣言检测方法，其特征在于，包括：

获取包含文本、图像以及社交信息的待检测事件；

基于预训练模型进行从文本与图像中各自提取文本特征与图像特征，并对社交信息进行特征编码，获得社交信息特征；

基于文本特征、图像特征以及社交信息特征构建社交媒体异质信息网络图结构，通过节点级别的注意力机制来捕获不同的节点邻居的重要性，通过信息聚合，实现将不同类型节点的信息通过注意力分数聚合到一起，实现特征的融合；

将融合的特征输入至分类器，获得检测结果；

其中，所述社交信息包括：数字特征与类别特征；其中，数字特征包括：待检测事件的转发数目、点赞数目与发布时间、以及相应用户的关注对象数目、粉丝数目以及发帖数目；类别特征包括：用户ID、用户类型、发布平台及事件内容是否为原创；

对于数字特征，进行Z-Sore归一化，表示为：

f_numerical＝Z_Score[f_retweet,f_praise,f_follower,f_time,f_following,f_tweet]

其中，f表示特征，retweet表示转发数目，praise表示点赞数目，following表示用户的关注对象数目，time表示发布时间，follower表示用户的粉丝数目，tweet表示用户的发帖数目；

对于类别特征采用One-Hot编码，并采用truncatedSVD进行降维处理，表示为：

f_categorical＝[tsvd(f_uid),tsvd(f_platform),f_original,f_usr-type]

其中，uid表示用户id，platform表示用户发表工具，original表示用户发表内容是否为原创，user-type表示用户类型，tsvd(.)表示采用truncatedSVD对特征进行降维处理；

再将f_numerical与f_categorical拼接，作为社交信息特征，表示为：

f_social＝Concat[f_categorical,f_numerical]。

2.根据权利要求1所述的一种基于传播异质图建模的社交媒体多模态谣言检测方法，其特征在于，基于预训练模型Bert进行中文文本特征提取，步骤包括：

首先，进行文本预处理：对文本进行数据清洗，去除非文本内容，并对清洗后的文本进行分词，以及引入停用词表，去除文本中无效词语；

然后，将预处理后的文本输入至预训练模型Bert，得到文本特征。

3.根据权利要求1所述的一种基于传播异质图建模的社交媒体多模态谣言检测方法，其特征在于，基于预训练的卷积神经网络进行图像特征的提取；所述卷积神经网络为去除卷积神经网络ResNeSt中顶部全连接层后的网络，网络中最后一个池化层的输出即为提取到的图像特征。