[发明专利]多模态信息性推文检测方法及系统

权利要求书

1.多模态信息性推文检测方法，其特征是，包括：

分别提取多模态信息性推文中的图像模态数据特征以及文本模态数据特征；

将上述来自不同模态的特征映射到同一数据域中，分别获取文本数据域下分类决策结果及图像数据域下的分类决策结果；

将上述两个数据域下的分类决策结果进行加权融合获得最终的分类决策结果。

2.如权利要求1所述的多模态信息性推文检测方法，其特征是，提取图像模态数据特征之前需要进行预处理：将图像调整为统一大小，之后，使用随机水平翻转与随机垂直翻转对图像数据集进行增广，然后将图像处理为数组之后进行归一化。

3.如权利要求2所述的多模态信息性推文检测方法，其特征是，预处理步骤之后进行特征提取步骤，具体为：

将经过预处理后的图像数据作为输入进行特征提取，获取图像数据的多通道特征；

之后对多通道特征进行序列信息依赖学习，获取多通道特征之间的相关性；

将最终全连接层的输出作为最终的图像特征。

4.如权利要求1所述的多模态信息性推文检测方法，其特征是，采用ResNet-A对多通道特征进行序列信息依赖学习，包括：

由各个多通道特征分别生成q_i,k_i,v_i矩阵，之后通过计算q_i与k_j之间的相似性，得到关于q_i与k_j的权重系数，通过对v_j加权求和得到最终的注意力数值h_i将得到的注意力数值进行拍平并使用一层全连接层对得到的特征进行整流。

5.如权利要求1所述的多模态信息性推文检测方法，其特征是，提取文本模态数据特征之前需要进行预处理：将文本句子中的转发标题用户句柄、以及停用词和标点符号进行删除，之后对句子进行分词操作，最后在每个句子的开头与结尾分别加入设定字符生成经过预处理的文本模态数据。

6.如权利要求1所述的多模态信息性推文检测方法，其特征是，采用Cycle GAN模型将上述来自不同模态的特征映射到同一数据域中，Cycle GAN模型由生成器和判别器两部分组成；

以图像特征矩阵与文本特征矩阵作为生成器中的输入，去最后一层的输出施加self-attention机制获得生成后的特征矩阵；

将原始特征矩阵与生成器的输出用于判别器的输入，用于判别。

优选的，Cycle GAN模型的损失函数包括生成性损失与循环一致性损失，前者用于保证生成器生成的数据与真实数据同分布，后者用于约束数据映射的一致性。

7.如权利要求1所述的多模态信息性推文检测方法，其特征是，采用混合融合策略对推文中的多模态数据进行融合，以图像域或文本数据域中的数据为作为输入，使用训练好的生成器将图像数据域或文本数据域中的数据映射到文本数据域或图像域中，得到生成的数据，之后采用早期融合策略将位于文本数据域或图像域下的特征矩阵进行注意力融合，并得到对应的分类决策结果。

8.多模态信息性推文检测系统，其特征是，包括：

图像特征提取模块，用于提取多模态信息性推文中的图像模态数据特征；

文本特征提取模块，用于提取多模态信息性推文中的文本模态数据特征；

多模态融合模块，用于将上述来自不同模态的特征映射到同一数据域中，分别获取文本数据域下分类决策结果及图像数据域下的分类决策结果；

将上述两个数据域下的分类决策结果进行加权融合获得最终的分类决策结果。

9.一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现上述权利要求1-7任一所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时执行上述权利要求1-7任一所述方法的步骤。