[发明专利]一种用于灾害事件检测的多模态对抗模型的训练方法和装置

说明书

本发明涉及网络信息分析技术领域，具体涉及一种用于灾害事件检测的多模态对抗模型的训练方法和装置。该方法包括：获取社交媒体数据；抽取所述社交媒体数据的图像特征和文本特征；对所述社交媒体数据的图像特征和文本特征进行预处理；将预处理后的所述社交媒体数据的图像特征和文本特征，输入进多模态对抗模型，更新多模态特征提取单元、信息识别单元和对抗训练单元的参数集。本发明利用多模态特征提取单元和对抗训练单元之间的极大极小博弈，提高了卷积神经网络模型在利用社交媒体数据来检测出灾害事件时的效率和准确度。

技术领域

本发明涉及网络信息分析技术领域，具体涉及一种用于灾害事件检测的多模态对抗模型的训练方法和装置。

背景技术

地震、火灾、洪水等灾害给人们的生活带来了巨大的伤害。一方面使人们的生命、财产遭到严重的损失；另一方面在灾难发生时，给受灾群众的心理也带来创伤。因此，在自然和人为灾害期间，救援组织需要及时向受影响的人们提供援助。但是，由于受灾群众的位置信息有限，对于救援组织而言，这项任务是非常困难的。当前，在突发灾害事件发生时，大量用户倾向于在社交媒体(如微博、推特等)上发布各种信息。受灾群众和目击者通过文本和图像信息在这些平台分享自己的状态，传播人员或设施受损信息并寻求帮助。社交媒体生成的这些数据实时更新且广泛传播，可帮助政府相关部门和救援组织获取可操作的信息以挽救生命和修复基础设施。因此，如何在海量社交媒体数据中检测出与灾害事件相关的信息，成为了突发灾害事件处理中不容忽视的主题。

传统的事件检测方法一般只考虑文本一种模态的信息，然而社交媒体上包含大量图片、文字等多模态信息。较少研究同时使用社交媒体中文本和图片信息检测与突发灾害事件相关内容。此外，突发灾害事件检测的主要挑战在于如何识别与新出现的灾难事件相关的信息。基于机器学习的方法仅能检测出与训练集中已存在的灾害事件相关的信息，而对于训练集中不存在的灾害事件效果较差。这主要是因为这些方法在社交媒体数据中抽取的是特定于灾难事件的特征，这些特征无法在不同灾难事件之间共享，从而影响了对与新兴灾难事件相关信息的检测。

因此，如何高效准确地利用社交媒体数据来检测出灾害事件，是目前亟需解决的技术问题。

发明内容

本发明的目的是提供一种用于灾害事件检测的多模态对抗模型的训练方法和装置，以提高卷积神经网络模型在利用社交媒体数据来检测出灾害事件时的效率和准确度。

本发明实施例提供了以下方案：

第一方面，本发明实施例提供一种用于灾害事件检测的多模态对抗模型的训练方法，所述方法包括：

获取社交媒体数据；

抽取所述社交媒体数据的图像特征和文本特征；

对所述社交媒体数据的图像特征和文本特征进行预处理；

将预处理后的所述社交媒体数据的图像特征和文本特征，输入进多模态对抗模型，以更新所述多模态对抗模型中的多模态特征提取单元、信息识别单元和对抗训练单元的参数集；

其中，所述多模态特征提取单元的输出层为第一全连接层，所述信息识别单元的输入层为第二全连接层，所述对抗训练单元的输入层为第三全连接层；所述第一全连接层分别连接所述第二全连接层和所述第三全连接层；

所述多模态特征提取单元包括图像多模态特征提取层、文本多模态特征提取层和多模态特征连接层；所述图像多模态特征提取层用于提取所述社交媒体数据的图像特征的图像多模态特征；所述文本多模态特征提取层用于提取所述社交媒体数据的文本特征的文本多模态特征；所述多模态特征连接层用于将所述图像多模态特征和所述文本多模态特征连接为所述社交媒体数据的多模态特征；