[发明专利]基于多模态融合的智能应答方法、装置、机器可读介质及设备

权利要求书

1.一种基于多模态融合的智能应答方法，其特征在于，包括：

获取人机交互场景下的问答信息，所述问答信息包括图像信息和文本信息；

对所述图像信息和所述文本信息进行特征提取，得到图像特征信息和文本特征信息；

将所述图像特征信息与所述文本特征信息进行融合，得到融合模态数据信息；

对所述融合模态数据信息进行特征提取并对提取的预测文本答句矩阵进行转换，得到目标文本答句。

2.根据权利要求1所述的基于多模态融合的智能应答方法，其特征在于，所述文本信息包括时间序列信息、对话角色信息、对话文本信息，相应的所述文本特征信息包括：时间序列特征信息、对话角色特征信息、对话文本特征信息。

3.根据权利要求1所述的基于多模态融合的智能应答方法，其特征在于，所述将所述图像特征信息与所述文本特征信息进行融合，包括：

将所述图像特征信息转换成图像特征矩阵；

将所述文本特征信息转换成与图像特征矩阵维度相同的文本特征矩阵；

将所述图像特征矩阵与所述文本特征矩阵对应元素相加，得到融合模态数据信息。

4.根据权利要求3所述的基于多模态融合的智能应答方法，其特征在于，所述将所述图像特征信息转换成图像特征矩阵，包括：

通过预训练的深度卷积神经网络将所述图像特征信息转换为图像特征向量；

若包括一个图像特征向量，则该图像特征向量为图像特征矩阵；

若包括多个图像特征向量，则将所述多个图像特征向量相连形成图像特征矩阵。

5.根据权利要求3所述的基于多模态融合的智能应答方法，其特征在于，所述将所述文本特征信息转换成与图像特征矩阵维度相同的文本特征矩阵，包括：

对所述文本特征信息进行分词处理，得到时间序列特征信息的分词、对话角色特征信息的分词、对话文本特征信息的分词；

分别通过Embedding将时间序列特征信息的分词、对话角色特征信息的分词、对话文本特征信息的分词转换成词向量；

分别将表示时间序列特征信息的每个词向量、对话角色特征信息的每个词向量、对话文本特征信息的每个词向量相连形成时间序列特征矩阵、对话角色特征矩阵、对话文本特征矩阵；

将所述时间序列特征矩阵、所述对话角色特征矩阵、所述对话文本特征矩阵的对应元素进行组合，得到文本特征矩阵。

6.根据权利要求1所述的基于多模态融合的智能应答方法，其特征在于，通过生成语言模型对所述融合模态数据信息进行特征提取得到预测文本答句矩阵以及对所述预测文本答句矩阵进行转换得到目标文本答句。

7.根据权利要求6所述的基于多模态融合的智能应答方法，其特征在于，所述生成语言模型至少包括多头自注意力层、全连接层、Softmax层。

8.根据权利要求7所述的基于多模态融合的智能应答方法，其特征在于，通过所述多头自注意力层完成对所述融合模态数据信息进行特征提取得到预测文本答句矩阵。

9.根据权利要求7所述的基于多模态融合的智能应答方法，其特征在于，所述对所述预测文本答句矩阵进行转换得到目标文本答句，包括：

通过所述全连接层将所预测文本答句矩阵的维度转换到字典维度；

通过Softmax层获取所述预测文本答句矩阵在字典维度上的概率分布；

根据所述概率分布得到目标文本答句。

10.根据权利要求1所述的基于多模态融合的智能应答方法，其特征在于，所述生成语言模型包括多模态分层编解码MHRED(Multimodal Hierarchical Encoder Decoder)、BART或GPT(Generative Pre-Training)。