[发明专利]一种人机交互方法及人机交互设备

权利要求书

1.一种人机交互方法，其特征在于，包括：

当检测到触发交互的指令时，获取交互对象的图像信息；其中，所述图像信息包括脸部图像和肢体图像；

将所述图像信息输入预设的级联神经网络模型进行处理，得到所述交互对象的识别结果；其中，所述神经网络模型是基于YOLO算法对图像样本集训练得到，在训练过程中，所述级联神经网络模型的输入为图像样本集中标记了识别结果类型的样本图像信息，所述级联神经网络模型的输出为所述样本图像信息的识别结果；所述识别结果包括肢体动作识别结果、脸部识别结果以及手势识别结果；

基于所述交互对象的识别结果确定目标交互指令。

2.如权利要求1所述的人机交互方法，其特征在于，所述级联神经网络模型包括级联的第一神经网络、第二神经网络以及第三神经网络；所述将所述图像信息输入预设的级联神经网络模型，得到所述交互对象的识别结果，包括：

将所述图像信息输入所述级联神经网络模型，通过所述第一神经网络进行处理，得到人体区域信息；

将所述人体区域信息输入所述第二神经网络进行处理，得到脸部区域信息、手部区域信息；

将所述人体区域信息、所述脸部区域信息、所述手部区域信息输入所述第三神经网络进行处理，得到肢体识别结果、脸部识别结果以及手部识别结果。

3.如权利要求1-2任一项所述的人机交互方法，其特征在于，所述脸部识别结果用于标识身份信息；所述基于所述交互对象的识别结果确定目标交互指令，包括：

当从预置的身份信息中获取到与所述脸部识别结果标识的身份信息匹配的身份信息时，基于交互信息与身份信息之间的预设对应关系，获取所述身份信息对应的预设交互信息；其中，所述预设交互信息包括预设交互指令以及每个所述预设交互指令对应的预设肢体识别结果、预设脸部识别结果、预设手部识别结果；

从所述预设交互信息中获取与所述交互对象的识别结果匹配的预设肢体识别结果、预设脸部识别结果、预设手部识别结果，基于所述预设交互信息确定所述匹配的预设肢体识别结果、所述匹配的预设脸部识别结果、所述匹配的预设手部识别结果对应的交互指令。

4.如权利要求1所述的人机交互方法，其特征在于，在所述将所述图像信息输入预设的级联神经网络模型进行处理，得到所述交互对象的识别结果之后，还包括：

基于所述交互对象的识别结果生成所述交互对象的动画；

显示所述交互对象的动画。

5.如权利要求1所述的人机交互方法，其特征在于，在所述将所述图像信息输入预设的级联神经网络模型进行处理，得到所述交互对象的识别结果之后，还包括：

基于脸部识别结果与交互主题的预设对应关系，获取所述交互对象的脸部识别结果对应的目标交互主题；

基于所述目标交互主题更新交互主题模式。

6.如权利要求1-2、4-5任一项所述的人机交互方法，其特征在于，在所述当检测到触发交互的指令时，获取交互对象的图像信息之后，还包括：

当没有获取到所述图像信息时，获取语音交互指令；

基于所述语音交互指令进行交互。

7.一种人机交互设备，其特征在于，包括：

获取单元，用于当检测到触发交互的指令时，获取交互对象的图像信息；其中，所述图像信息包括脸部图像和肢体图像；

处理单元，用于将所述图像信息输入预设的级联神经网络模型进行处理，得到所述交互对象的识别结果；其中，所述神经网络模型是基于YOLO算法对图像样本集训练得到，在训练过程中，所述级联神经网络模型的输入为图像样本集中标记了识别结果类型的样本图像信息，所述级联神经网络模型的输出为所述样本图像信息的识别结果；所述识别结果包括肢体动作识别结果、脸部识别结果以及手势识别结果；

确定单元，用于基于所述交互对象的识别结果确定目标交互指令。