[发明专利]一种基于动态手势的VR交互方法、装置及电子设备

说明书

本发明实施例提供了一种基于动态手势的VR交互方法、装置及电子设备。该方法包括：持续获取由VR设备采集的双目视频帧；从所获取的各个双目视频帧的第一目视频帧中提取手型区域，所述第一目视频帧为：左目视频帧或右目视频帧；识别所提取到的各个手型区域，得到各个手型区域对应的静态手势识别结果，所述静态手势的识别结果包括：指向或单击；当所得到的各个静态手势识别结果中包括单击和指向两类结果时，确定发生单击和指向的动态手势，并执行与所述动态手势对应的响应操作。本发明实施例所提供方案可以提高VR交互的响应速度和精准度。

技术领域

本发明涉及虚拟现实领域，特别是涉及一种基于动态手势的VR交互方法、装置及电子设备。

背景技术

VR(Virtual Reality，虚拟现实)技术是利用电脑技术模拟产生一个三维空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身临其境一般，可以及时、没有限制地观察三维空间内的事物。

其中，VR技术中的人机交互指以有效的方式实现人与计算机输入、输出设备产生的虚拟世界实现对话的技术。具体的，VR技术中的人机交互的交互形式包括但不局限于外设、语音、动态手势等形式。

传统的基于指向和单击构成的动态手势的VR交互方法(即VR技术中的人机交互)中，在识别动态手势时，为了判断出每个手势的起点和终点，需要通过对视频帧重复分析来寻找动态手势的全过程，例如，现有技术中，对于包含动态手势的视频序列进行动态手势的识别的过程中，通过以选取的帧窗口来对帧窗口大小数量的视频帧进行分析，当一个包含动态手势的视频帧在第5帧为动态手势的开始时刻，第15帧为动态手势的结束时刻，整个视频序列为25帧，帧窗口大小为20时，对帧的分析的过程依次可以为1-20帧、2-21帧、3-22帧、4-25帧进行识别，在识别过程中包含部分动态手势的帧的过程都可以识别到动态手势，但是不能确定到在哪一帧进行动态手势的触发，同样的，也不能确定动态手势的结束时刻，从而需要对视频帧重复分析。

因此，现有技术中，在识别动态手势中不能快速地且精准地确定出动态手势开始时刻的视频帧和结束时刻的视频帧，最终导致VR交互的响应速度和精准度较低。

发明内容

本发明实施例的目的在于提供一种基于动态手势的VR交互方法、装置及电子设备，以提高VR交互的响应速度和精准度。具体技术方案如下：

为达到上述目的，本发明实施例提供了一种基于动态手势的VR交互方法，所述方法包括：

持续获取由VR设备采集的双目视频帧；

从所获取的各个双目视频帧的第一目视频帧中提取手型区域，所述第一目视频帧为：左目视频帧或右目视频帧；

识别所提取到的各个手型区域，得到各个手型区域对应的静态手势识别结果，所述静态手势的识别结果包括：指向或单击；

当所得到的各个静态手势识别结果中包括单击和指向两类结果时，确定发生单击和指向的动态手势，并执行与所述动态手势对应的响应操作。

在本发明实施例提供的一种实现方式中，所述执行与所述动态手势对应的响应操作的步骤，包括：

确定目标手型区域中的食指区域，其中，所述目标手型区域为：所述各个手型区域中，所对应静态手势识别结果为指向的一个手型区域；

根据所述食指区域，确定食指的指向直线；

将所述指向直线与所述VR设备的显示区域的交点作为所述动态手势对应的交互点；

在所述交互点上响应单击操作。

在本发明实施例提供的一种实现方式中，其特征在于，所述从所获取的各个双目视频帧的第一目视频帧中提取手型区域的步骤，包括：