[发明专利]人机交互方法、装置、设备以及存储介质

说明书

本公开提供了人机交互方法、装置、设备以及存储介质，涉及深度学习、语音等人工智能领域。具体实现方案为：获取来自用户的目标语音指令以及用户的嘴部图像序列；对目标语音指令进行分析，确定对应的文本信息以及声学信息；对嘴部图像序列进行分析，确定嘴唇状态序列；基于文本信息、声学信息以及嘴唇状态序列，确定目标语音指令是否属于人机交互指令；响应于确定目标语音指令属于人机交互指令，对目标语音指令进行响应。本实现方式能够准确地判断用户的语音指令是否属于人机交互指令，能够提升智能设备指令执行的准确度，提升用户的交互体验。

技术领域

本公开涉及计算机技术领域，具体涉及深度学习、语音等人工智能领域，尤其涉及人机交互方法、装置、设备以及存储介质。

背景技术

传统的远场语音交互中，用户需要频繁唤醒设备才可以交互。一次唤醒持续交互技术，可以让用户只唤醒一次，后续一段时间内直接对设备发起语音请求。在持续聆听的过程中，会收到大量的语音指令，既包括用户对设备发起的指令(后续称人机交互指令)，也包括一些不是对设备发起的指令(如噪音、家中电视声音、家人之间聊天等，后续称非人机交互指令)。如何准确地判断用户发起的语音指令是否属于人机交互指令对于提升用户的使用体验非常重要。

发明内容

本公开提供了一种人机交互方法、装置、设备以及存储介质。

根据第一方面，提供了一种人机交互方法，包括：获取来自用户的目标语音指令以及用户的嘴部图像序列；对目标语音指令进行分析，确定对应的文本信息以及声学信息；对嘴部图像序列进行分析，确定嘴唇状态序列；基于文本信息、声学信息以及嘴唇状态序列，确定目标语音指令是否属于人机交互指令；响应于确定目标语音指令属于人机交互指令，对目标语音指令进行响应。

根据第二方面，提供了一种人机交互装置，包括：数据获取单元，被配置成获取来自用户的目标语音指令以及用户的嘴部图像序列；指令分析单元，被配置成对目标语音指令进行分析，确定对应的文本信息以及声学信息；图像分析单元，被配置成对嘴部图像序列进行分析，确定嘴唇状态序列；指令判断单元，被配置成基于文本信息、声学信息以及嘴唇状态序列，确定目标语音指令是否属于人机交互指令；指令响应单元，被配置成响应于确定目标语音指令属于人机交互指令，对目标语音指令进行响应。

根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，上述指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面所描述的方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，上述计算机指令用于使计算机执行如第一方面所描述的方法。

根据第五方面，一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现如第一方面所描述的方法。

根据本公开的技术能够准确地判断用户的语音指令是否属于人机交互指令，能够提升智能设备指令执行的准确度，提升用户的交互体验。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开的一个实施例可以应用于其中的示例性系统架构图；

图2是根据本公开的人机交互方法的一个实施例的流程图；

图3是根据本公开的人机交互方法的一个应用场景的示意图；

图4是根据本公开的人机交互方法的另一个实施例的流程图；

图5是根据本公开的人机交互装置的一个实施例的结构示意图；