[发明专利]信息交互方法、装置、设备及存储介质

权利要求书

1.一种信息交互方法，其特征在于，包括：

获取当前交互场景下的多模态数据，所述多模态数据包括人机交互过程的视频信息、音频信息和/或文本信息；

参考预配置的场景知识图谱库，基于预训练的回复生成模型处理所述多模态数据，输出用于进行交互的回复信息，所述场景知识图谱库中包含与各不同场景一一对应的场景知识图谱；

所述回复生成模型利用跨语种、跨场景的多模态训练数据及所述场景知识图谱库通过无监督的方式训练得到。

2.根据权利要求1所述的方法，其特征在于，所述回复生成模型的训练过程，包括：

获取跨语种、跨场景的多模态训练数据，以及预配置的场景知识图谱库；

将所述多模态训练数据所包含的视频信息、音频信息和文本信息进行对齐；

以对齐后的多模态训练数据作为样本输入，参考所述场景知识图谱库，以预测所述多模态训练数据包含的文本信息中被遮挡的字符为目标，训练回复生成模型。

3.根据权利要求2所述的方法，其特征在于，所述将所述多模态训练数据所包含的视频信息、音频信息和文本信息进行对齐，包括：

对所述视频信息中各视频帧进行特征提取，得到所述视频信息对应的视频特征向量；

对所述视频特征向量进行离散化表示，得到与所述文本信息中各字符一一对齐的视频特征向量；

对所述音频信息中各语音帧进行特征提取，得到所述音频信息对应的音频特征向量；

对所述音频特征向量进行离散化表示，得到与所述文本信息中各字符一一对齐的音频特征向量。

4.根据权利要求2所述的方法，其特征在于，所述以对齐后的多模态训练数据作为样本输入，参考所述场景知识图谱库，以预测所述多模态训练数据包含的文本信息中被遮挡的字符为目标，训练回复生成模型，包括：

利用回复生成模型对输入的所述对齐后的多模态训练数据所包含的视频信息、音频信息和文本信息进行拼接，得到拼接特征；

基于所述拼接特征从所述场景知识图谱库中选择适配的场景知识图谱，并将选择的场景知识图谱表示为知识图谱向量特征；

利用回复生成模型，基于所述拼接特征及所述知识图谱向量特征，预测所述文本信息中被遮挡的字符；

以回复生成模型预测的被遮挡的字符趋近于所述文本信息中真实被遮挡的字符为目标，训练回复生成模型。

5.根据权利要求2所述的方法，其特征在于，所述多模态训练数据还包括位置信息，所述利用回复生成模型对输入的所述对齐后的多模态训练数据所包含的视频信息、音频信息和文本信息进行拼接，得到拼接特征，包括：

利用回复生成模型对输入的所述对齐后的多模态训练数据所包含的视频信息、音频信息、文本信息及所述位置信息进行拼接，得到拼接特征。

6.根据权利要求1所述的方法，其特征在于，所述参考预配置的场景知识图谱库，基于预训练的回复生成模型处理所述多模态数据，输出用于进行交互的回复信息，包括：

利用回复生成模型对所述多模态数据所包含的视频信息、音频信息和/或文本信息进行拼接，得到拼接特征；

基于所述拼接特征从所述场景知识图谱库中选择适配的场景知识图谱，并将选择的场景知识图谱表示为知识图谱向量特征；

利用回复生成模型，基于所述拼接特征及所述知识图谱向量特征，预测并输出用于进行交互的回复信息。

7.根据权利要求6所述的方法，其特征在于，所述多模态数据还包括位置信息；

所述利用回复生成模型对所述多模态数据所包含的视频信息、音频信息和/或文本信息进行拼接，得到拼接特征，包括：

利用回复生成模型对所述多模态数据所包含的位置信息、视频信息、音频信息和/或文本信息进行拼接，得到拼接特征。