[发明专利]一种基于体感的虚拟矿井自然交互方法

摘要

本发明请求保护一种基于体感的虚拟矿井自然交互方法，该方法包括：运用Kinect体感器获取用户的手势信号、深度信息以及骨骼点信息；通过图像预处理对手势信号里的图像、深度信息及骨骼信息进行平滑滤波；利用深度直方图分割出手势图像，再运用八邻域轮廓跟踪算法找出手势轮廓，识别静态手势；根据骨骼信息，用改进动态时间规划进行动态手势的特征匹配识别；利用手势识别结果触发相应的Win32指令消息，并将消息发送给虚拟现实引擎，把指令消息分别映射到虚拟矿井交互系统原本的键盘鼠标操作，实现对虚拟矿井的体感交互控制。本发明方法提高了人机交互的自然高效性，增加了虚拟矿井表现的沉浸感、自然感。能有效的普及虚拟现实与体感交互技术在煤矿及其他领域的应用。 1

主权项

1.一种基于体感的虚拟矿井自然交互方法，其特征在于，包括以下步骤：

101、建立手势识别模板库，然后进行数据获取步骤：运用Kinect体感器获取用户的手势信号、深度信息以及骨骼点信息；

102、手势数据预处理步骤：将步骤101所获取的手势信号通过A/D转换处理，将其转换为数字信号，所述手势信号包括单帧静态图像和连续多帧图像，然后通过图像预处理对手势信号里的图像、深度信息及骨骼点信息进行平滑滤波，得到平滑滤波过的单帧静态图像和平滑滤波过的连续多帧图像；

103、静态手势识别步骤：a1、针对通过步骤102平滑滤波处理后的单帧静态图像，利用深度直方图分割出静态手势图像；a2、在静态手势图像分割完成之后，将分割出的手势图片进行二值化处理，转化为二值图；a3、再运用八邻域轮廓跟踪算法找出手势轮廓；a4、最后，利用K曲率算法对手势轮廓的边界点进行判断得出手势轮廓的尖峰点个数即指尖点个数，然后特征匹配识别，判断是否为模板手势；

104、动态手势识别步骤：针对经过步骤102平滑滤波处理过的连续多帧图像，根据骨骼点的信息，将手部、腕部、肘部以及肩部关节点的运动轨迹作为动态手势的特征，然后再用改进动态时间规划算法进行动态手势的特征匹配识别，识别出是否为模板手势；动态时间规划算法改进在：首先，通过对距离加权的方式来提高计算效率和识别率，即：

其中，T为时间规划函数，T＝{t(1),t(2),...,t(n)}，N为搜索路径长度，即模板手势数，t(n)＝(l_i(n),r_j(n))表示由L中的i(n)帧特征向量与R中的j(n)帧特征向量构成第n个匹配点；d[Li(n),Rj(n)]表示欧氏距离，W_n即为权值，其大小和搜索路径的约束有关；通过设置图像失真度的阈值，减少手势数据失真量；

105、虚拟矿井交互，根据步骤103与步骤104的手势识别结果触发相应的Win32指令消息，并将Win32指令消息发送给虚拟现实引擎，把Win32指令消息分别映射到虚拟矿井交互系统原本的键盘鼠标操作，实现对虚拟矿井的体感交互控制。

2.根据权利要求1所述的一种基于体感的虚拟矿井自然交互方法，其特征在于，所述静态手势为单帧图像，动态手势为连续多帧图像，所述深度信息即为人到Kinect体感器的距离，主要为人手的深度信息，所述骨骼点信息为Kinect for Windows SDK开发包所提供的人体20个关节点信息，主要为手部、腕部、肘部、肩部关节点信息。

3.根据权利要求1所述的一种基于体感的虚拟矿井自然交互方法，其特征在于，步骤103中a3步骤中八邻域轮廓跟踪算法具体为：以变量dir＝0为初始扫描方向，扫描二值图，按照若dir为奇数取(dir+7)mod 8；若dir为偶数取(dir+6)mod 8的规则搜索当前像素的3*3邻域，如果在此邻域中搜索到的像素点值为1，则记录该像素点，并标记该像素点为轮廓点，继而得到手形轮廓。

4.根据权利要求1所述的一种基于体感的虚拟矿井自然交互方法，其特征在于，步骤103中的K曲率算法对轮廓边界点进行处理具体为：判断手势轮廓上的点P(i)和它前k个点P(i‑k)之间向量，以及P(i)和它后k个点P(i+k)间向量的夹角β是否在一定角度θ范围内，从而判断P(i)是否为尖峰点，若是尖峰点则确定为指尖，所述夹角θ的判断范围是0到55度，k的取值为22。

5.根据权利要求1所述的一种基于体感的虚拟矿井自然交互方法，其特征在于，步骤104中的动态时间规划算法具体为：

首先，选取模板手势手部关节点运动轨迹在三维空间XYZ三个平面的投影位置，手部、肘部关节点的旋转角度混合组成特征数据向量V；其次，定义模板手势集为：L＝(l₁,l₂,l₃,...,l_n)，待识别手势集为：R＝(r₁,r₂,r₃,...,r_m)，其中m≠n，待识别手势R与模板手势结构相同，表示待识别的手势数据；并定义l_n(i)为第n个模板手势的第i个特征数据，相应的，r_m(j)为第m个待识别手势的第j个特征数据，并用上述特征向量V来表示模板手势的特征数据；最后，输入待识别手势，计算其与所有模板手势对应帧之间的欧几里得距离d[L(i),R(j)]之和，所述对应帧即为关键帧，表示i帧和j帧在两个手部动作序列中所对应的动作是相同的，计算所得欧几里得距离之和最小的待识别手势，即为对应的模板手势。