[发明专利]多模态信息性推文检测方法及系统

说明书

本发明提出了多模态信息性推文检测方法及系统，包括：分别提取多模态信息性推文中的图像模态数据特征以及文本模态数据特征；将上述来自不同模态的特征映射到同一数据域中，分别获取文本数据域下分类决策结果及图像数据域下的分类决策结果；将上述两个数据域下的分类决策结果进行加权融合获得最终的分类决策结果。能够综合使用和分析推文中的图像数据与文本数据，能够有效地筛选信息性推文并进行进一步分析。

技术领域

本发明属于信息处理技术领域，尤其涉及多模态信息性推文检测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

近年来，社交媒体的迅速普及，使其成为各种公共事件期间沟通与交流的重要渠道，用户在社交媒体上发布的推文可应用于情感分析、医学研究以及危机信息检测等多个领域，并且，用户发布的海量、实时性的推文发挥着对传统媒体的补充作用，尤以公共危机事件期间为例，用户发布的推文中通常包含基础设施损坏情况、人员伤亡情况以及对该事件的看法，已有研究表明，若能有效地筛选和分析有关危机事件的推文，将对人道主义救援活动的规划与开展起到支撑作用。

人工筛选明显不是一种可行的方案，因此，挑战之一在于如何从海量推文中筛选信息性的推文。推文中通常包含文本与图像两种模态的数据，不同模态之间的数据具有互补信息却又存在一定的异质性差异，已有研究采用单模态的图像数据或文本数据进行推文的筛选与分析，但忽略了多模态数据之间的互补性，也有相当的工作中综合使用推文中的多模态数据进行推文的筛选与分析，但大多集中于研究在不同的数据域中进行融合分析，难以规避数值差异带来的影响且不能有效的捕捉多模态数据的依赖关系，因此另一个挑战在于如何有效的利用推文中的多模态数据。

发明内容

为克服上述现有技术的不足，本发明提供了多模态信息性推文检测方法，用于融合分析推文中的多模态数据。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

第一方面，公开了多模态信息性推文检测方法，包括：

分别提取多模态信息性推文中的图像模态数据特征以及文本模态数据特征；

将上述来自不同模态的特征映射到同一数据域中，分别获取文本数据域下分类决策结果及图像数据域下的分类决策结果；

将上述两个数据域下的分类决策结果进行加权融合获得最终的分类决策结果。

进一步的技术方案，提取图像模态数据特征之前需要进行预处理：将图像调整为统一大小，之后，使用随机水平翻转与随机垂直翻转对图像数据集进行增广，然后将图像处理为数组之后进行归一化。

进一步的技术方案，预处理步骤之后进行特征提取步骤，具体为：

将经过预处理后的图像数据作为输入进行特征提取，获取图像数据的多通道特征；

之后对多通道特征进行序列信息依赖学习，获取多通道特征之间的相关性；

将最终全连接层的输出作为最终的图像特征。

进一步优选的技术方案，采用ResNet-A对多通道特征进行序列信息依赖学习，包括：

由各个多通道特征分别生成q_i,k_i,v_i矩阵，之后通过计算q_i与k_j之间的相似性，得到关于q_i与k_j的权重系数，通过对v_j加权求和得到最终的注意力输出h_i

将得到的注意力输出进行拍平并使用一层全连接层对得到的特征改变维度。