[发明专利]基于Kinect的多人手势人机交互方法及装置

说明书

本发明公开了一种基于Kinect的多人手势人机交互方法及装置，其中，方法包括：通过Kinect相机采集场景的彩色图像和深度图像，并获取场景内操作者的人体关节位置和面部特征参数；根据人体关节位置和面部特征参数通过光沿直线传播原理得到操作者双手对应的光标位置；根据人体关节位置在彩色图像中分割出操作者的手掌区域图像，并由预先训练的手势分类模型对操作指令进行识别分类。该方法操作自然快速，无需借助其他外接设备，并采用无接触交互方式，能应对医院，科研等特殊场景，且可以多人同时使用，满足未来更复杂的交互要求。

技术领域

本发明涉及人机交互技术领域，特别涉及一种基于Kinect的多人手势人机交互方法及装置。

背景技术

人机交互是人与计算机间的信息交换，信息在人与计算机之间建立交互。以前的人机交互主要是以计算机为中心，例如命令行、图形用户界面等交互方式，人们只能通过键盘、鼠标、触屏等方式与计算机进行交互。现在，更多新颖且符合人类自然交互的交互形式正日益成熟，这些新技术是人与计算机之间的较量更密切，而且能提高其交互效率。人机交互也经历了由命令行、图形界面到自然用户界面的转变和发展。自然用户界面是指用户以自然的交互方式如语音、手势等与计算机进行交互。

手势是人机交互中一种新型的交互方式，这种交互方式没有接触性，更符合人类的自然交互行为。目前手势识别的研究主要是基于彩色图像流，根据图像的颜色、纹理、灰度特征或运动特征来检测和跟踪目标。但是由于彩色图像只有二维的坐标信息，容易受到相应背景、光照和环境的影响，所以对于目标的检测和跟踪效果较差，难以对复杂环境下的目标进行检测和跟踪。Kinect相机是一种特殊的相机，可以同时采集场景的彩色图像和深度图像，从而得到场景的三维信息。根据获取的三维信息，可以准确的提取场景内人体关节及手势信息。

现有的手势交互系统多与图形界面结合使用，但多通过静态手势识别，只能代替遥控器或键盘与菜单方式的图形界面进行交互。要代替现有最简单常用的键盘和鼠标组合语更复杂的图像界面进行交互，需要通过手势实现光标移动的功能。光标所在位置是操作者在图形界面中最关注的位置，可以通过操作者的视线和手指指向的位置反映出来。

现有的交互系统多针对单人使用，在一些特殊场景下，如设计创作时，可能需要多人同时与计算机进行交互。而基于手势的交互方式，由于其不需要其它交互设备，只要在相机视野范围内即可交互，具备多人同时与计算机进行交互的条件。

然而，相关技术的人机交互模式需要通过鼠标，键盘，手柄等设备，这些操控设备都可通过有线或者无线的方式连接。有线方式下，操控距离较短；无线方式下，操作略显迟钝，两种方式均不具有操控的自然性。另一种交互方式是接触式的触屏操控，目前在小尺寸的手机和平板电脑中应用最多。对于尺寸高达60英寸甚至100英寸的大型触摸屏，操作者在操作时，由于操作者离屏幕太近以至于无法看清屏幕上所有内容，使得一些基本的操作变得笨拙。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于Kinect的多人手势人机交互方法，该方法操作自然快速，无需借助其他外接设备，并采用无接触交互方式，能应对医院，科研等特殊场景，且可以多人同时使用，满足未来更复杂的交互要求。

本发明的另一个目的在于提出一种基于Kinect的多人手势人机交互装置。

为达到上述目的，本发明一方面实施例提出了一种基于Kinect的多人手势人机交互方法，包括以下步骤：通过Kinect相机采集场景的彩色图像和深度图像，并获取所述场景内操作者的人体关节位置和面部特征参数；根据所述人体关节位置和面部特征参数通过光沿直线传播原理得到所述操作者双手对应的光标位置；根据所述人体关节位置在所述彩色图像中分割出所述操作者的手掌区域图像，并由预先训练的手势分类模型对操作指令进行识别分类。