[发明专利]一种非接触的基于“手+脸表情+头部姿态”的混合控制方法

说明书

本发明涉及一种非接触的基于“手+脸表情+头部姿态”的混合控制方法，属于计算机人机交互中的交互手势领域。本发明包括步骤：首先进行人脸关键点检测、头部姿态的状态、手部手势的识别；然后自定义面部手势、头部手势、手势交互命令；最后设计混合控制方法交互界面，并验证混合控制手势的精准性和准确性。本发明以Face++平台、Leap Motion为工具，依据Face++平台的人脸关键点检测和Leap Motion手势检测设计出来一套新的混合交互手势，丰富了多通道人机交互，对计算机人机交互的发展具有重大的意义。

技术领域

本发明涉及一种非接触的基于“手+脸表情+头部姿态”的混合控制方法，特别涉及一种结合利用人工智能下的人脸关键点检测技术、Leap Motion手势追踪技术以及基于JMF框架的摄像头图像采集技术，将人脸检测技术和动态手势追踪技术结合起来设计出的一种非接触的基于“手+脸表情+头部姿态”的混合控制方法，属于计算机人机交互中的多通道交互手势范畴。

背景技术

随着人工智能的迅速发展，人类逐渐进AI时代。基于这种趋势，百度、阿里、腾讯、Face++等人工智能平台迅速发展起来，出现了百花齐放的趋势。本发明是以Face++平台的人脸关键点检测技术为基础，设计出来的混合交互控制方法。

近年来，随着人工智能在包括人脸识别、声纹识别、语音识别、手势识别、姿态识别、情感识别等方面的进步，智能算法与人机交互出现了互相融合的趋势。因为符合人的交互模式，基于人工智能方法的多通道智能人机交互(Multi-Modal Human ComputerInteraction，MMHCI)被认为是未来自然的人机交互的主要方式之一。

在人工智能迅速发展的今天，人工智能与人机交互的结合已经成为必然的趋势，这将会给未来人机交互带来巨大的前景。同时将面部手势和头部姿态结合起来，能更好地探讨新的交互通道存在的应用价值。实现非接触的基于“手+脸表情+头部姿态”的混合控制方法，对于多通道人机交互技术的探索与研究具有重大的意义。

发明内容

本发明要解决的技术问题是提供一种非接触的基于“手+脸表情+头部姿态”的混合控制方法，首先进行人脸关键点检测、头部姿态的状态、手部手势的识别；然后自定义面部手势、头部手势、手势交互命令；最后设计混合控制方法交互界面，并验证混合控制手势的精准性和准确性。该技术降低了对触屏设备的依赖，同时解决了计算机人机交互中人们与计算机必须近距离接触的局限性问题。

本发明采用的技术方案是：一种非接触的基于“手+脸表情+头部姿态”的混合控制方法，包括如下步骤：

(1)首先登录Face++官网，然后注册账号并且登录到自己的控制台，创建人脸关键点检测应用；

(2)配置基于JMF框架的摄像头环境，让可以获取到摄像头的图片流，作为“脸表情”和“头部姿态”的输入源；

(3)然后编写代码调用后台创建的人脸关键点检测应用，需要检测的人脸关键点如图2所示，获取眼睛状态、嘴巴状态和头部姿态如图3所示的检测值；

(4)配置Leap Motion的环境，这样可以让Leap Motion动态地获取手势，作为手势的输入源；

(5)编写代码并在代码中实现Leap Motion的动态手势获取；

(6)根据获取的眼睛、头部和手的状态，自定义“手+脸表情+头部姿态”混合交互手势；

(7)自定义混合交互手势所对应的计算机交互命令；

(8)将混合手势与自定义的交互命令进行对应，产生相应的反馈效果；

(9)设计混合交互手势应用对混合交互手势进行识别；

(10)设计实验验证混合交互手势的准确性和精确性；