[发明专利]多模态融合人机交互方法、装置、存储介质、终端及系统

权利要求书

1.一种多模态融合人机交互方法，其特征在于，包括：

获取机器人采集的目标交互对象对应的交互数据，其中，所述交互数据包括音频数据、微表情数据、距离数据以及姿势数据；

将所述交互数据输入至基于深度学习的预设多模态融合模型，并根据所述预设多模态融合模型的输出结果确定所述机器人的交互反馈数据，其中，所述交互反馈数据包括包含语气信息的语音反馈数据、微表情反馈数据以及动作反馈数据；

利用所述交互反馈数据控制所述机器人执行相应的交互反馈操作；

其中，所述预设多模态融合模型包括三个子模型，所述三个子模型分别为语音子模型、表情子模型和动作子模型，所述语音子模型对应第一子样本数据、所述表情子模型对应第二子样本数据，所述动作子模型对应第三子样本数据，所述第一子样本数据中包括所述音频数据、所述微表情数据、以及由所述音频数据转换的自然语言文本数据，所述第二子样本数据中包括所述自然语言文本数据和所述微表情数据，所述第三子样本数据中包括所述自然语言文本数据、所述距离数据和所述姿势数据；

所述将所述交互数据输入至预设多模态融合模型，并根据所述预设多模态融合模型的输出结果确定所述机器人的交互反馈数据，包括：

从所述交互数据中提取多个子模型分别对应的子样本数据；

将各子样本数据输入至对应的子模型中，得到多个子输出结果；

综合所述多个子输出结果确定所述机器人的交互反馈数据。

2.根据权利要求1所述的方法，其特征在于，在所述获取机器人采集的目标交互对象对应的交互数据之前，还包括：

获取机器人采集的训练样本交互数据，并基于预设专家系统确定所述训练样本交互数据对应的样本标签；

将所述训练样本交互数据和对应的样本标签输入至预设初始模型中进行训练，得到预设多模态融合模型。

3.根据权利要求2所述的方法，其特征在于，所述将所述训练样本交互数据和对应的样本标签输入至预设初始模型中进行训练，得到预设多模态融合模型，包括：

将所述训练样本交互数据和对应的样本标签输入至预设初始模型中进行训练，得到多模态融合初始模型；

基于所述预设专家系统确定测试样本集；

利用所述测试样本集对所述多模态融合初始模型进行评估，并根据评估结果修改所述多模态融合初始模型中的参数，得到预设多模态融合模型。

4.一种多模态融合人机交互装置，其特征在于，包括：

交互数据获取模块，用于获取机器人采集的目标交互对象对应的交互数据，其中，所述交互数据包括音频数据、微表情数据、距离数据以及姿势数据；

交互反馈数据确定模块，用于将所述交互数据输入至基于深度学习的预设多模态融合模型，并根据所述预设多模态融合模型的输出结果确定所述机器人的交互反馈数据，其中，所述交互反馈数据包括包含语气信息的语音反馈数据、微表情反馈数据以及动作反馈数据；

反馈控制模块，用于利用所述交互反馈数据控制所述机器人执行相应的交互反馈操作；

其中，所述预设多模态融合模型包括三个子模型，所述三个子模型分别为语音子模型、表情子模型和动作子模型，所述语音子模型对应第一子样本数据、所述表情子模型对应第二子样本数据，所述动作子模型对应第三子样本数据，所述第一子样本数据中包括所述音频数据、所述微表情数据、以及由所述音频数据转换的自然语言文本数据，所述第二子样本数据中包括所述自然语言文本数据和所述微表情数据，所述第三子样本数据中包括所述自然语言文本数据、所述距离数据和所述姿势数据；

所述将所述交互数据输入至预设多模态融合模型，并根据所述预设多模态融合模型的输出结果确定所述机器人的交互反馈数据，包括：

从所述交互数据中提取多个子模型分别对应的子样本数据；

将各子样本数据输入至对应的子模型中，得到多个子输出结果；

综合所述多个子输出结果确定所述机器人的交互反馈数据。

5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3任一项所述的方法。