[发明专利]一种用于灾害事件检测的多模态对抗模型的训练方法和装置

权利要求书

1.一种用于灾害事件检测的多模态对抗模型的训练方法，其特征在于，所述方法包括：

获取社交媒体数据；

抽取所述社交媒体数据的图像特征和文本特征；

对所述社交媒体数据的图像特征和文本特征进行预处理；

将预处理后的所述社交媒体数据的图像特征和文本特征，输入进多模态对抗模型，以更新所述多模态对抗模型中的多模态特征提取单元、信息识别单元和对抗训练单元的参数集；

其中，所述多模态特征提取单元的输出层为第一全连接层，所述信息识别单元的输入层为第二全连接层，所述对抗训练单元的输入层为第三全连接层；所述第一全连接层分别连接所述第二全连接层和所述第三全连接层；

所述多模态特征提取单元包括图像多模态特征提取层、文本多模态特征提取层和多模态特征连接层；所述图像多模态特征提取层用于提取所述社交媒体数据的图像特征的图像多模态特征；所述文本多模态特征提取层用于提取所述社交媒体数据的文本特征的文本多模态特征；所述多模态特征连接层用于将所述图像多模态特征和所述文本多模态特征连接为所述社交媒体数据的多模态特征；

所述所述信息识别单元包括Softmax层；所述Softmax层用于根据所述社交媒体数据的多模态特征，生成所述社交媒体数据与任何灾害事件无关的概率；所述Softmax层还用于根据第一损失函数，更新所述多模态特征提取单元和所述信息识别单元的参数集；所述第一损失函数根据所述社交媒体数据与任何灾害事件无关的概率构建；

所述对抗训练单元包括对抗训练层；所述对抗训练层用于根据第二损失函数，更新所述对抗训练单元的参数集；所述第二损失函数根据所述多模态特征提取单元的输出值和所述信息识别单元的识别结果构建。

2.根据权利要求1所述的用于灾害事件检测的多模态对抗模型的训练方法，其特征在于，所述提取所述社交媒体数据的图像特征的图像多模态特征，包括：

将所述所述社交媒体数据的图像特征输入进训练好的VGG-19网络模型，获得所述社交媒体数据的图像特征的图像多模态特征。

3.根据权利要求1所述的用于灾害事件检测的多模态对抗模型的训练方法，其特征在于，所述提取所述社交媒体数据的文本特征的文本多模态特征，包括：

将所述社交媒体数据的文本特征转化为输入文本；所述输入文本包括字符向量，分段向量和位置向量；

对所述输入文本中的字符向量，分段向量和位置向量按位求和，获得BERT模型的编码层输入量；

利用多头注意力和自注意力机制将所述BERT模型的编码层输入量转化为所述输入文本的隐藏状态集；

根据所述输入文本的隐藏状态集，获取所述社交媒体数据的文本特征的文本多模态特征。

4.根据权利要求1所述的用于灾害事件检测的多模态对抗模型的训练方法，其特征在于，所述根据第一损失函数，更新所述多模态特征提取单元和所述信息识别单元的参数集，包括：

计算所述多模态特征提取单元的最优参数集和所述信息识别单元的最优参数集具体的计算公式为：

其中，为所述第一损失函数，为期望函数，Y_d为表示社交媒体数据x是否与灾害事件有关的标签，p(x)为社交媒体数据x与任何灾害事件无关的概率，θ_F为所述多模态特征提取单元的参数集，θ_D为所述信息识别单元的参数集；

将所述多模态特征提取单元的最优参数集更新为所述多模态特征提取单元的参数集；

将所述信息识别单元的最优参数集更新为所述信息识别单元的参数集。

5.根据权利要求4所述的用于灾害事件检测的多模态对抗模型的训练方法，其特征在于，所述根据第二损失函数，更新所述对抗训练单元的参数集，包括：

计算所述对抗训练单元的最优参数集具体的计算公式为：

其中，为所述第二损失函数，Y_m为表示灾害事件的标签，f_F为所述多模态特征提取单元的输出值，f_M为所述信息识别单元的识别结果，θ_M为所述对抗训练单元的参数集；

将所述对抗训练单元的最优参数集更新为所述对抗训练单元的参数集。