[发明专利]基于图像情感倾向的多模态谣言检测方法

权利要求书

1.一种基于图像情感倾向的多模态谣言检测方法，其特征在于，包括：

训练阶段，利用文本以及包含文字信息的图像作为训练数据；对每一组由文本及图像构成的训练样本，进行多模态特征的提取，包括：文本特征、图像特征以及图像中的文字信息特征；基于条件变分自编码器，结合图像特征、图像中的文字信息特征、文本特征、语义空间的隐变量，以及给定的情感倾向标签来更新先验分布及分类器，包括：利用图像特征I和给定的情感倾向标签Y得到后验分布以及初始化隐变量的先验分布p_θ(Z|I)，采样一个隐变量，结合文字信息特征O解码预测情感倾向，并计算出情感倾向标签的重构误差；通过KL散度最小化后验分布和先验分布的距离，并最小化情感倾向标签Y的重构误差，得到更新后的先验分布p_θ(Z|I)；从训练好的先验分布p_θ(Z|I)中采样一个隐变量与文字信息特征O解码生成情感倾向再与文本特征E拼接在一起输入到一个分类器中判别是否为谣言；分类器利用设定的损失函数进行训练；所述隐变量即为图像的语义；

测试阶段，对于待检测图像与相应的文本，从图像中提取出文字信息特征，结合更新后的先验分布采样得到的隐变量解码生成情感倾向，再与文本特征拼接，通过分类器得到待检测图像为谣言的概率。

2.根据权利要求1所述的一种基于图像情感倾向的多模态谣言检测方法，其特征在于，进行多模态特征的提取之前进行数据预处理，包括：

对于文本进行去冗余操作，只保留文字信息，并拼接为文本序列；

对于图像，进行去噪处理。

3.根据权利要求1所述的一种基于图像情感倾向的多模态谣言检测方法，其特征在于，

通过预训练的GLoVe对文本进行词特征的向量化，并送入GRU进行特征提取，获得的语义向量即为文本特征；

通过预训练模型ResneXt提取图像的通用特征表示，将预训练模型ResneXt最后一个池化层输出的特征，作为图像特征；

通过开源的中文光学字符识别套件CNOCR获取图像中的OCR token的集合，集合中包含了图像中字符的语义信息；再利用预训练的GLoVe对文本进行向量化，最后经线性变换得到文字信息特征。

4.根据权利要求1所述的一种基于图像情感倾向的多模态谣言检测方法，其特征在于，通过KL散度最小化后验分布和先验分布p_θ(Z|I)的距离，从而修正先验分布p_θ(Z|I)；并且，最小化情感倾向标签Y的重构误差，此过程的损失函数为：

上式中，θ，分别代表先验分布和后验分布中的相关可调参数，代表情感倾向标签Y的重构误差，p(Y|I)是CVAE损失函数中固定的形式。