[发明专利]一种多模态信息处理方法、装置、电子设备和存储介质

权利要求书

1.一种多模态信息处理方法，其特征在于，所述方法包括：

从获取到的多模态信息中提取第一模态特征和第二模态特征；所述第一模态特征和所述第二模态特征为两种不同模态的特征；

基于注意力机制，利用所述第二模态特征，对所述第一模态特征进行注意力加权处理，得到第一加权模态特征；

对所述第一加权模态特征和所述第二模态特征进行多模态分解双线性池化处理，得到双模态向量；

根据所述双模态向量，生成所述多模态信息对应的意图分类结果。

2.根据权利要求1所述的方法，其特征在于，所述第一模态特征和所述第二模态特征均为至少一个时，所述基于注意力机制，利用所述第二模态特征，对所述第一模态特征进行注意力加权处理，得到第一加权模态特征，包括：

将至少一个第一模态特征和至少一个第二模态特征映射到第一空间维度；

针对每一所述第二模态特征，执行如下步骤：

在所述第一空间维度下，基于注意力机制，确定每一所述第一模态特征和所述第二模态特征之间的相关度；

根据每一所述相关度，确定对应第一模态特征的注意力权重；

利用每一所述注意力权重，对各第一模态特征进行加权求和，得到所述第二模态特征对应的第一加权模态特征。

3.根据权利要求2所述的方法，其特征在于，所述在所述第一空间维度下，基于注意力机制，确定每一所述第一模态特征和所述第二模态特征之间的相关度，包括：

确定每一所述第一模态特征对应的第一特征向量和所述第二模态特征对应的第二特征向量；

确定每一所述第一特征向量和所述第二特征向量之间的点积；

根据每一所述点积，确定对应第一模态特征和所述第二模态特征之间的相关度。

4.根据权利要求1所述的方法，其特征在于，所述第一加权模态特征和所述第二模态特征均为至少一个时，所述对所述第一加权模态特征和所述第二模态特征进行多模态分解双线性池化处理，得到双模态向量，包括：

将每一所述第一加权模态特征和对应的所述第二模态特征映射到第二空间维度；

在所述第二空间维度下，确定所述第一加权模态特征对应的第三特征向量和所述第二模态特征对应的第四特征向量；

确定所述第三特征向量和所述第四特征向量之间的外积；

对所述外积进行求和池化，得到所述第一加权模态特征对应的双模态向量。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述第一模态特征包括图像特征，所述第二模态信息包括文本特征，所述从获取到的多模态信息中提取第一模态特征和第二模态特征，包括：

利用卷积神经网络，从获取到的多模态信息中提取图像特征；

利用循环神经网络，从所述多模态信息中提取文本特征。

6.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：

确定与所述意图分类结果匹配的知识点；

根据所述知识点，生成多模态交互文本。

7.根据权利要求6所述的方法，其特征在于，所述确定与所述意图分类结果匹配的知识点，包括：

确定与所述意图分类结果匹配的至少一个待选知识点；

显示所述至少一个待选知识点；

根据接收到的指令，从所述至少一个待选知识点中确定出目标知识点；

将所述目标知识点确定为与所述意图分类结果匹配的知识点。

8.根据权利要求7所述的方法，其特征在于，所述显示所述待选知识点，包括：

确定每一所述待选知识点在历史时刻被确定为目标知识点的频率；

根据所述频率递减的顺序，对所述至少一个待选知识点进行排序；

按照排列顺序，显示所述至少一个待选知识点。