[发明专利]一种多模态信息融合方法、装置及电子设备

权利要求书

1.一种多模态信息融合方法，所述方法包括：

获取目标对象所对应的原始数据，所述原始数据中至少包含第一模态信息和第二模态信息；

对所述第一模态信息和第二模态信息分别进行表征处理，得到各模态信息所对应的初始特征向量；

将所述初始特征向量作为输入，利用预定的由多个模态融合层所组成的多模态融合层结构对所述初始特征向量执行融合操作得到目标特征向量，以便完成对所述第一模态信息和第二模态信息的融合；

所述多模态融合层结构包括第一模态融合层和第二模态融合层，所述第一模态融合层以所述第一模态信息对应的初始特征向量作为输入；所述第二模态融合层以所述第一模态融合层的输出以及所述第二模态信息对应的初始特征向量作为输入；其中，每个所述模态融合层中均采用注意力机制根据预设的目标标签为输入的特征向量或融合后的向量分配不同的权重。

2.如权利要求1所述的方法，所述目标对象包括商户小程序和/或商户网页，所述获取目标对象所对应的原始数据，所述原始数据中至少包含第一模态信息和第二模态信息，包括：

对所述商户小程序或商户页面进行文本爬取得到文本信息，并对所述商户小程序或商户页面进行截图得到图像信息，其中，所述文本信息对应第一模态信息，所述图像信息对应第二模态信息。

3.如权利要求2所述的方法，所述对所述第一模态信息和第二模态信息分别进行表征处理，得到各模态信息所对应的初始特征向量，包括：

将所述文本信息转化为词向量，并利用卷积神经网络提取所述图像信息的图像特征向量；将所述词向量以及图像特征向量分别作为所述第一模态信息和第二模态信息所对应的初始特征向量。

4.如权利要求3所述的方法，所述多模态融合层结构中包含三个模态融合层，所述利用预定的由多个模态融合层所组成的多模态融合层结构对所述初始特征向量执行融合操作得到目标特征向量，包括：

在第一模态融合层中，以所述词向量作为输入，根据目标标签以及第一注意力机制确定每个词向量所对应的第一注意力权重，并根据所述词向量以及第一注意力权重进行加权得到句子特征向量；

在第二模态融合层中，以所述句子特征向量以及图像特征向量作为输入，将所述句子特征向量与图像特征向量进行融合，根据目标标签以及第二注意力机制为融合之后的向量分配第二注意力权重，并根据所述融合之后的向量以及第二注意力权重进行加权得到文本特征向量；

在第三模态融合层中，以所述文本特征向量作为输入，根据目标标签以及第三注意力机制为所述文本特征向量分配第三注意力权重，并根据所述文本特征向量以及第三注意力权重进行加权得到目标特征向量。

5.如权利要求4所述的方法，在所述第一模态融合层中具体包括以下操作：

利用双向RNN对每个词向量进行处理得到每个词在句子中的表征向量，对所述表征向量执行线性变换及激活函数操作，并根据执行所述操作后的表征向量与第一注意力机制的矩阵确定每个词向量所对应的第一注意力权重，对所述第一注意力权重进行归一化处理，将所述词向量与其对应的经归一化处理后的第一注意力权重进行加权得到句子特征向量。

6.如权利要求5所述的方法，采用以下计算式执行所述第一模态融合层中的操作，具体地：

u_i,t＝U^T tanh(W_wh_i,t+b_w)

s_i＝∑_t α_i,th_i,t

其中，U^T表示第一注意力机制的矩阵；h_i,t表示每个词在句子中的表征向量；b_w表示线性变换的常量；u_i,t表示归一化处理前的第一注意力权重；α_i,t表示归一化处理后的第一注意力权重；s_i表示句子特征向量。