[发明专利]人机交互方法、装置、设备以及存储介质

权利要求书

1.一种人机交互方法，包括：

获取来自用户的目标语音指令以及用户的嘴部图像序列；

对所述目标语音指令进行分析，确定对应的文本信息以及声学信息，所述声学信息包括音节特征；

对所述嘴部图像序列进行分析，确定嘴唇状态序列；

基于所述文本信息、所述声学信息以及所述嘴唇状态序列，确定所述目标语音指令是否属于人机交互指令；

响应于确定所述目标语音指令属于人机交互指令，对所述目标语音指令进行响应；

其中，所述基于所述文本信息、所述声学信息以及所述嘴唇状态序列，确定所述目标语音指令是否属于人机交互指令，包括：

将所述文本信息、所述声学信息以及预先训练的判断模型，确定所述目标语音指令的判断结果；

响应于确定所述判断结果指示所述目标语音指令属于人机交互指令，基于所述嘴唇状态序列，对所述判断结果进行核验；

其中，所述基于所述嘴唇状态序列，对所述判断结果进行核验，包括：

确定所述音节特征对应的参考嘴唇状态序列；

根据所述嘴唇状态序列与所述参考嘴唇状态序列，对所述判断结果进行核验。

2.根据权利要求1所述的方法，其中，所述基于所述文本信息、所述声学信息以及所述嘴唇状态序列，确定所述目标语音指令是否属于人机交互指令，包括：

获取所述目标语音指令生成时刻之前预设时间段内生成的历史语音指令；

根据所述历史语音指令的判断结果、所述文本信息、所述声学信息以及所述嘴唇状态序列，确定所述目标语音指令是否属于人机交互指令。

3.根据权利要求1所述的方法，其中，所述基于所述嘴唇状态序列，对所述判断结果进行核验，包括：

响应于确定所述嘴唇状态序列表征嘴唇状态发生变化，确定所述判断结果正确。

4.根据权利要求1所述的方法，其中，所述基于所述文本信息、所述声学信息以及所述嘴唇状态序列，确定所述目标语音指令是否属于人机交互指令，包括：

对所述文本信息进行语义解析以及意图识别，确定用户意图；

确定所述文本信息属于句子的概率；

确定所述文本信息对应的文本长度；

确定所述声学信息对应的音节声学置信度以及整句声学置信度；

所述嘴唇状态序列对应的嘴唇状态变化结果；

根据所述用户意图、所述概率、所述文本长度、所述音节声学置信度、所述整句声学置信度以及所述嘴唇状态变化结果中的至少一项，确定所述目标语音指令是否属于人机交互指令。

5.根据权利要求1-4任一项所述的方法，其中，所述方法还包括：

响应于确定所述目标语音指令不属于人机交互指令，忽略所述目标语音指令。

6.一种人机交互装置，包括：

数据获取单元，被配置成获取来自用户的目标语音指令以及用户的嘴部图像序列；

指令分析单元，被配置成对所述目标语音指令进行分析，确定对应的文本信息以及声学信息，所述声学信息包括音节特征；

图像分析单元，被配置成对所述嘴部图像序列进行分析，确定嘴唇状态序列；

指令判断单元，被配置成基于所述文本信息、所述声学信息以及所述嘴唇状态序列，确定所述目标语音指令是否属于人机交互指令；

指令响应单元，被配置成响应于确定所述目标语音指令属于人机交互指令，对所述目标语音指令进行响应；

其中，所述指令判断单元进一步被配置成：

将所述文本信息、所述声学信息以及预先训练的判断模型，确定所述目标语音指令的判断结果；

响应于确定所述判断结果指示所述目标语音指令属于人机交互指令，基于所述嘴唇状态序列，对所述判断结果进行核验；

所述指令判断单元进一步被配置成：

确定所述音节特征对应的参考嘴唇状态序列；

根据所述嘴唇状态序列与所述参考嘴唇状态序列，对所述判断结果进行核验。