[发明专利]人机交互系统和方法

说明书

提供了一种人机交互系统和人机交互方法，所述人机交互系统包括：图像获取设备，用于获取图像数据；人机交互处理设备，根据从图像数据检测的用户的多种类型的动作和姿态来确定用户想要进行的交互操作；显示设备，显示与交互操作的结果对应的显示屏幕。本发明可以利用多种运动检测方式的组合来进行人机交互操作，从而在不需要额外的输入装置的情况下，降低人机交互操作识别的模糊度，提高人机交互操作的准确性。

技术领域

本发明涉及计算机视觉和模式识别领域，更具体地，涉及一种非接触的、自然的远距离人机交互(HCI)系统和方法。

背景技术

基于计算机视觉技术的人机交互方式可通过各种图像获取和处理方法来视觉地获取用户输入。基于计算机视觉技术的人机交互方式成为了新一代人机交互技术的热门话题，尤其在休闲娱乐的人机交互方面得到了广泛的应用。在这种交互方式下，可通过用户的身体姿态、头部姿态、视线或人体动作来与计算机进行交互，从而可以使用户从传统的键盘、鼠标等的输入方式中解脱，得到前所未有的人机交互体验。

目前提出了多种基于计算机视觉的人机交互方式。在一种现有的人机交互方式中，可通过使用触摸输入和三维(3D)手势输入来产生、修改和操作3D物体。在另一种方法中，可通过人体姿态检测来与虚拟用户界面进行交互。

然而，现有的人机交互设备和方法所利用的运动检测的类型较为单一，通常需要基于触摸的输入装置并且需要用户记住大量的规定动作来执行交互。由于手势、姿势以及深度感应范围的原因，通常需要进行预处理或各种手动操作，例如，需要校准各种传感器，预先定义交互空间等。这使用户感到不方便。因此，需要一种能够利用多种运动检测方式且不依赖于附加的输入装置的人机交互方式。

发明内容

根据本发明的一方面，提供了一种人机交互系统，包括：图像获取设备，用于获取图像数据；人机交互处理设备，根据从图像数据检测的用户的多种类型的动作和姿态来确定用户想要进行的交互操作；显示设备，显示与交互操作的结果对应的显示屏幕。

根据本发明的一方面，人机交互处理设备包括：运动检测模块，从图像数据中检测用户的多种类型的动作和姿态；交互确定模块，根据运动检测模块检测的用户的多种类型的动作和姿态来确定用户想要将要进行的交互操作，并向显示控制模块发出相应的显示操作指令；显示控制模块，根据交互确定模块确定的指令控制显示设备在显示屏幕上显示相应的交互操作。

根据本发明的一方面，运动检测模块包括：视线捕捉模块，用于从图像数据中检测用户的视线方向；姿态追踪模块，用于在图像数据中追踪和识别用户身体各部分的姿态和动作。

根据本发明的一方面，视线捕捉模块通过从图像数据中检测用户的头部的俯仰方向和偏转方向来确定用户的视线方向。

根据本发明的一方面，姿态追踪模块在图像数据中追踪和检测用户的手的节点以确定用户的手的运动和手势，并检测用户的身体骨骼节点以确定用户身体各部分的姿态动作。

根据本发明的一方面，交互确定模块根据视线捕捉模块检测的用户的视线方向和姿态追踪模块识别的用户的手的姿态来确定是否开始交互操作。

根据本发明的一方面，如果确定用户的视线方向和用户的手的指示方向均指向显示屏幕上的显示项超过预定时间，则交互确定模块确定开始对该显示项进行交互操作。

根据本发明的一方面，如果确定用户的视线方向和用户的手的指示方向均未指向显示项，则交互确定模块确定停止对该显示项进行交互操作。

根据本发明的一方面，当用户靠近图像获取设备时，姿态追踪模块追踪和识别用户的手指动作以识别用户的手势，当用户远离图像获取设备时，姿态追踪模块追踪和识别用户的手臂的动作。

根据本发明的一方面，人机交互处理设备还包括：自定义姿势注册模块，用于注册与用户自定义的姿势动作对应的交互操作命令。