[发明专利]一种基于动态手势的VR交互方法、装置及电子设备

权利要求书

1.一种基于动态手势的VR交互方法，其特征在于，包括：

持续获取由VR设备采集的双目视频帧；

从所获取的各个双目视频帧的第一目视频帧中提取手型区域，所述第一目视频帧为：左目视频帧或右目视频帧；

识别所提取到的各个手型区域，得到各个手型区域对应的静态手势识别结果，所述静态手势的识别结果包括：指向或单击；

当所得到的各个静态手势识别结果中包括单击和指向两类结果时，确定发生单击和指向的动态手势，并执行与所述动态手势对应的响应操作；

其中，所述执行与所述动态手势对应的响应操作的步骤，包括：

确定目标手型区域中的食指区域，其中，所述目标手型区域为：所述各个手型区域中，所对应静态手势识别结果为指向的一个手型区域；

根据所述食指区域，确定食指的指向直线；

将所述指向直线与所述VR设备的显示区域的交点作为所述动态手势对应的交互点；

在所述交互点上响应单击操作；

所述根据所述食指区域，确定食指的指向直线的步骤，包括：

对所述食指区域和目标视频帧进行立体匹配，得到所述食指区域中的每个像素点的三维坐标数据，其中，所述目标视频帧为目标双目视频帧中的另一目视频帧，所述目标双目视频帧为包含所述食指区域所在第一目视频帧的双目视频帧；

将所述食指区域中的每个像素点的三维坐标数据进行线性拟合，得到食指的指向直线；

所述对所述食指区域和目标视频帧进行立体匹配，得到所述食指区域中的每个像素点的三维坐标数据的步骤，包括：

对所述食指区域和目标视频帧中与所述食指区域对应的目标区域的像素进行先验像素级别的立体匹配，得到第一视差值；

根据所述第一视差值和左右相机的标定参数，确定所述食指区域中每个像素点的三维空间坐标数据。

2.根据权利要求1所述的方法，其特征在于，所述从所获取的各个双目视频帧的第一目视频帧中提取手型区域的步骤，包括：

针对所获取的每个双目视频帧的第一目视频帧，对该第一目视频帧进行灰度化转换，并对灰度化转换后的图像通过阈值分割的方式进行二值化处理，得到二值化处理的图像；

提取所得到的各个二值化处理的图像中的手型区域。

3.根据权利要求1所述的方法，其特征在于，所述识别所提取到的各个手型区域，得到各个手型区域对应的静态手势识别结果的步骤，包括：

提取各个手型区域的方向梯度直方图HOG特征；

将各个手型区域的方向梯度直方图HOG特征分别输入预先训练的支持向量机SVM模型，得到各个手型区域所对应的静态手势识别结果，其中，所述支持向量机SVM模型以包含指向或单击的静态手势的样本视频帧的方向梯度直方图HOG特征作为输入内容，以所述样本视频帧所包含的单击或指向的静态手势作为输出内容训练所得。

4.根据权利要求1所述的方法，其特征在于，所述确定目标手型区域中的食指区域的步骤，包括：

以手型区域外包矩形的边为坐标轴进行Y轴上的手型区域的直方图投影，通过对投影的直方图进行阈值处得到手型的食指区域，所述Y轴为沿手指的高度方向。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第一视差和左右相机的标定参数，确定所述食指区域中每个像素点的三维空间坐标数据的步骤，包括：

将所述食指区域和目标视频帧扩大预定倍数；

在扩大预定倍数后，以所述第一视差值为基础，对当前食指区域和当前目标视频帧中与所述食指区域对应的目标区域的像素点进行亚像素级别的立体匹配，得到第二视差值；

根据所述第二视差值和左右相机的标定参数，确定所述食指区域中每个像素点的三维空间坐标数据。