[发明专利]一种基于实物及手势的交互方法和计算机设备

说明书

本发明提供一种基于实物及手势的交互方法，包括步骤S1、通过摄像头获取包含手势和实物的画面；步骤S2、通过深度学习算法识别出画面中的第一手势及与该手势有关联的实物；步骤S3、根据识别结果执行下一步指令。本发明还提供能执行上述方法的一种计算机设备。本发明在对手势识别的同时，还对与手势有关联的实物也需要识别，并根据识别结果执行相应的指令；还可结合语音指令、以及进一步的手势动作执行更为复杂的指令。可以广泛用于机器教学、商务演示、VR/AR、机器人等领域，操作很便利高效，大大的提升了用户的体验度。

技术领域

本发明涉及一种计算机交互方法和计算机设备。

背景技术

计算机问世以后，如何让它跟人打交道，一直很让人头疼。虽然Geek们发明了各种各样的“语言”，让人和计算机有了沟通的渠道，但是当时的机器毕竟能力有限，需要人付出极大的努力才能实现“对话”。交互设计解决的问题就是“人类如何使用计算机并且通过计算机如何达到目的。

计算机交互设计经历了以下六个阶段：穿孔纸带交互时代、键盘交互时代、鼠标交互时代、触摸屏时代、语音输入时代、人工智能的百花齐放时代。其中人工智能带来的交互方式不止一种，随着视觉识别技术的成熟，摄像头也成为了一种交互方式，人们只要对着摄像头做出某种手势，机器就能识别出你的操作意图(例如是或否，左或右等)，例如在无人机场景下，手势就可以完成一些简单的信息输入(如自拍或跟随)。

但目前现有技术中的人工智能视觉识别技术多只是手势本身识别，并不涉及对实物的识别，因此限制了很多应用场合，且用户的体验度也得不到有效的提高。如公开日为20170623，公开号为CN106886741A的中国发明公开了一种基手指识别的手势识别方法，属于手势识别技术领域；方法包括：通过一图像采集装置获取关联于使用者全身的视频数据流，并处理得到骨骼点信息；根据骨骼点信息，确定手心位置信息与手长信息；根据手心位置信息判断使用者的手心距离地面的高度是否大于一预设的高度阈值，并在是时继续执行步骤；判断得到手掌区域的图像，并对手掌区域的图像进行分割裁剪以及进行预处理，得到相应的手部掩膜并输出；根据处理结果，识别出手部的指尖区域，并根据指尖区域的几何关系对使用者的手势进行识别。上述技术方案的有益效果是：消除背影响，避免一些无效手势被误认为使用者进行手势指令输入的情况发生，提升了手势识别的准确性。

然而，单独根据手势的识别结果来执行某些指令，会使可执行指令的范围较小，对于有些机器教学、商务演示、VR/AR、机器人等领域，往往要求更为复杂的指令辨识，有些在需要对手势识别的同时，还需对与手势有关联的实物也需要识别，才能正确执行相应的指令，因此若只有手势的识别功能显然已不相适应了。

发明内容

本发明要解决的技术问题，在于提供一种基于实物及手势的交互方法和计算机设备，同时识别出手势及与该手势有关联的实物，并根据识别结果执行相应的指令，大大的提升了用户的体验度。

本发明方法是这样实现的：一种基于实物及手势的交互方法，包括以下步骤：

步骤S1、通过摄像头获取包含手势和实物的画面；

步骤S2、通过深度学习算法识别出画面中的第一手势及与该手势有关联的实物；

步骤S3、根据识别结果执行下一步指令。

进一步的，所述步骤S3中，所述执行下一步指令时是根据识别结果并结合语音指令进行，或根据识别结果并结合第二手势进行。

进一步的，所述第一手势和所述关联为下述情况的一种：

(1)所述第一手势为手指指点手势，所述关联是与手指指点方向延长线上并与手指距离最近的实物。

(2)所述第一手势为手掌托举或抓取手势，所述关联是手掌托举或抓取的实物。

(3)所述第一手势为手臂抱握手势，所述关联是手臂抱握的实物。