[发明专利]人机交互方法及系统

权利要求书

1.一种人机交互方法，其特征在于，包括：

在人机交互界面上，显示至少一个待选对象；

对用户的脸部区域进行图像采集，以获得人脸图像帧；

根据所述人脸图像帧，识别所述用户的头部动作为对象选择动作；

基于所述对象选择动作，标记所述至少一个待选对象中的第一对象为选中状态；

在标记所述第一对象为选中状态后，所述方法还包括：

继续对所述用户的脸部区域进行图像采集，以获得新的人脸图像帧；

根据所述新的人脸图像帧，识别所述用户的头部动作为选择确认动作或选择取消动作；

基于所述选择确认动作或选择取消动作，确认或取消所述第一对象的选中状态；

所述选择确认动作的识别步骤，包括：

根据选定特征点在所述新的人脸图像帧中的坐标，计算所述选定特征点的水平方向坐标变化幅度和垂直方向坐标变化幅度；

若所述选定特征点的垂直方向坐标变化幅度与所述选定特征点的水平方向坐标变化幅度满足第一比例关系，且所述垂直方向坐标变化幅度大于垂直方向坐标变化幅度阈值，确定所述用户的头部动作为点头动作，所述点头动作为所述选择确认动作，其中，所述第一比例关系是所述选定特征点的垂直方向坐标变化幅度为水平方向坐标变化幅度的指定倍数。

2.根据权利要求1所述的方法，其特征在于，所述对象选择动作为头部转动动作；

所述第一对象的选中状态的标记步骤，包括：

根据所述头部转动动作的转动方向，确定所述用户的面部朝向；

根据面部朝向与待选对象之间的相对位置关系，确定所述至少一个待选对象中对应于所述面部朝向的对象，作为所述第一对象；

标记所述第一对象为选中状态。

3.根据权利要求1所述的方法，其特征在于，

所述选择取消动作的识别步骤，包括：

根据选定特征点在所述新的人脸图像帧中的坐标，计算所述选定特征点的水平方向坐标变化幅度和垂直方向坐标变化幅度；

若所述选定特征点的垂直方向坐标变化幅度与所述选定特征点的水平方向坐标变化幅度满足第二比例关系，且所述水平方向坐标变化幅度大于水平方向坐标变化幅度阈值，确定所述用户的头部动作为摇头动作，所述摇头动作为所述选择取消动作。

4.根据权利要求3所述的方法，其特征在于，所述水平方向坐标变化幅度和所述垂直方向坐标变化幅度的计算步骤，包括：

根据所述选定特征点在所述新的人脸图像帧中的横坐标和纵坐标，分别计算平均横坐标和平均纵坐标；

从所述选定特征点在所述新的人脸图像帧中的横坐标与所述平均横坐标的差值的绝对值中，选择最大绝对值作为所述水平方向坐标变化幅度；

从所述选定特征点在所述新的人脸图像帧中的纵坐标与所述平均纵坐标的差值的绝对值中，选择最大绝对值作为所述垂直方向坐标变化幅度。

5.根据权利要求1所述的方法，其特征在于，所述第一对象的选中状态的标记步骤，包括：

以第一方式，突出显示所述第一对象；

所述第一对象的选中状态的确认步骤，包括：

以不同于所述第一方式的第二方式，突出显示所述第一对象；

所述第一方式或所述第二方式包括：高亮、加选择框、加颜色、动画中的至少一种方式。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述至少一个待选对象包括：界面区域和/或界面元素。

7.根据权利要求6所述的方法，其特征在于，所述至少一个待选对象的显示步骤，包括：

将所述人机交互界面垂直划分为多个界面区域；

在所述人机交互界面上，显示所述多个界面区域的边界线。

8.一种人机交互系统，其特征在于，包括：

显示器，用于显示人机交互界面，所述人机交互界面包括至少一个待选对象；

图像采集设备，用于对用户的脸部区域进行图像采集，以获得人脸图像帧；

交互控制设备，连接于所述图像采集设备和所述显示器，用于根据所述图像采集设备采集到的人脸图像帧，识别所述用户的头部动作为对象选择动作，基于所述对象选择动作，标记所述至少一个待选对象中的第一对象为选中状态；

所述图像采集设备还用于：继续对所述用户的脸部区域进行图像采集，以获得新的人脸图像帧；

所述交互控制设备还用于：根据所述图像采集设备采集到的新的人脸图像帧，识别所述用户的头部动作为选择确认动作或选择取消动作，以及基于所述选择确定动作或选择取消动作，确认或取消所述第一对象的选中状态；

所述交互控制设备还用于：根据选定特征点在所述新的人脸图像帧中的坐标，计算所述选定特征点的水平方向坐标变化幅度和垂直方向坐标变化幅度；若所述选定特征点的垂直方向坐标变化幅度与所述选定特征点的水平方向坐标变化幅度满足第一比例关系，且所述垂直方向坐标变化幅度大于垂直方向坐标变化幅度阈值，确定所述用户的头部动作为点头动作，所述点头动作为所述选择确认动作，其中，所述第一比例关系是所述选定特征点的垂直方向坐标变化幅度为水平方向坐标变化幅度的指定倍数。