[发明专利]一种非接触的基于“手+脸表情+头部姿态”的混合控制方法

摘要

本发明涉及一种非接触的基于“手+脸表情+头部姿态”的混合控制方法，属于计算机人机交互中的交互手势领域。本发明包括步骤：首先进行人脸关键点检测、头部姿态的状态、手部手势的识别；然后自定义面部手势、头部手势、手势交互命令；最后设计混合控制方法交互界面，并验证混合控制手势的精准性和准确性。本发明以Face++平台、Leap Motion为工具，依据Face++平台的人脸关键点检测和Leap Motion手势检测设计出来一套新的混合交互手势，丰富了多通道人机交互，对计算机人机交互的发展具有重大的意义。

主权项

1.一种非接触的基于“手+脸表情+头部姿态”的混合控制方法，其特征在于：包括如下步骤：(1)首先登录Face++官网，然后注册账号并且登录到自己的控制台，创建人脸关键点检测应用；(2)配置基于JMF框架的摄像头环境，可以获取到摄像头的图片流，作为“脸表情”和“头部姿态”的输入源；(3)然后编写代码调用后台创建的人脸关键点检测应用，获取眼睛状态、嘴巴状态和头部姿态的检测值；(4)配置Leap Motion的环境，这样可以让Leap Motion动态地获取手势，作为手势的输入源；(5)编写代码并在代码中实现Leap Motion的动态手势获取；(6)根据获取的眼睛、头部和手的状态，自定义“手+脸表情+头部姿态”混合交互手势；(7)自定义混合交互手势所对应的计算机交互命令；(8)将混合手势与自定义的交互命令进行对应，产生相应的反馈效果；(9)设计混合交互手势应用对混合交互手势进行识别；(10)设计实验验证混合交互手势的准确性和精确性。