[发明专利]一种基于手势识别的增强现实交互方法

说明书

本发明涉及一种基于手势识别的增强现实交互方法，包括：根据需要识别的动态手势类型，建立复杂背景下多人多角度的静态手势数据集，利用MobileNet基础深度神经网络并结合SSD目标检测算法框架，在该数据集上进行训练，生成手势检测模型，以对获取到的静态手势进行识别；基于视频分帧进行动态手势识别；设计动态手势识别算法；基于动态手势识别进行人机交互，包括：捕获使用者的手势影像，在将短视频进行分帧处理后，将截取到的帧图像进行静态手势识别，并将识别到的结果记录下来，并结合动态手势识别算法进行判断，得到对应动态手势类别变化识别算法中的四种变化手势以及动态手势轨迹变化识别算法中的6种轨迹变化手势的类别和对应的位移量以及面积比。

技术领域

本发明属于计算机模式识别领域，具体涉及的是一种基于手势识别的增强现实交互方法。

背景技术

增强现实技术的主要技术之一是人机交互技术。即通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。人机交互技术主要包括两方面，一方面人通过输入设备给机器输入有关信息，回答问题及提示请示等；另一方面机器通过人的输入进行反馈，从而给人提供大量有关信息及提示请示等。而增强现实系统的交互技术则是指将用户的交互操作输入到增强现实设备处理器后，经过处理将交互的结果通过显示设备显示输出的过程。

现有增强现实系统中的交互方式主要有两大类：外接设备、特定标志。外接设备如鼠标、键盘、数据手套、语音输入装置等。现有的基于PC机的增强现实系统习惯采用键盘、鼠标进行交互。这种交互方式精度高、成本低，但是沉浸感较差。另外一种是借助数据手套、力反馈设备、磁传感器等设备进行交互，这种方式精度高，沉浸感较强，但是成本也相对较高，且操作不方便。特定标志则可以通过事先进行设计。通过比较先进的注册算法，可以使标志具有特殊的含义，当用户操作增强现实设备令其识别到标志之后就会触发指定的场景出现。因此基于特定标志进行交互能够使用户清楚明白操作步骤，降低学习成本。但是这种场景的可扩展性性，交互性不强。

因此本方法发明了一种基于计算视觉的自然手势交互方式。根据需要人机交互的实际需要设计固定数量的动态手势种类，从而确定需要被识别的基础静态手势类型。方案确定后，首先自建复杂背景下多人多角度的静态手势数据集，利用MobileNet基础深度神经网络并结合SSD目标检测算法框架，在自建数据集上进行训练，生成手势检测模型。根据动态手势的特点，通过对每一帧进行手势检测获取静态手势类别、面积以及手势中心坐标的信息设计动态手势识别算法。利用手势类别的稳定性，即同一种手势类别达到累计帧数来规避动态手势速度的不确定性以及动态手势变化的不稳定性，进而提高识别准确率。利用本发明的这种基于动态手势识别的交互方式沉浸感最强，成本低，精度高，不易受光照等条件的影响。

现有增强现实系统中用于人机交互必须要有外接设备，如鼠标、键盘、数据手套、语音输入装置等。通过对这些外接辅助设备的操作来实现对增强现实系统的查看、标绘以及修改等工作。但是在一些特殊场景下，这种基于现有的鼠标与键盘等外接设备的交互方式暴露出诸多问题：首先，在一些场景中，使用者会手持其他装备，很难做到双手的完全解放，而现有的鼠标和键盘等外接设备的操作一般会需要双手操作，这就对增强现实系统的操作产生阻碍；此外，携带鼠标和键盘等额外的输入式设备也会对使用者造成了诸多不便，且增加系统使用成本。

故为了解决上述现有交互方式所存在的问题，本方法特利用使用者自身的手势用来交互，十分灵活方便，而且当使用者在特殊的场合无法进行语音交互时，通过手势的交互就成为了最适合的交互方式。所以本方法基于手势识别技术来代替现有的鼠标、键盘等外接方式来实现对增强现实系统的控制，从而使得操作者所携带的增强现实系统更加的便携与智能化，在未来的增强现实领域中拥有重大的实用价值和发展前景。