[发明专利]一种静动态手势结合的汉字书写方法及系统

说明书

技术领域

本发明涉及一种汉字书写方法及系统，尤其涉及一种基于Kinect上Unity界面实现的静动态手势结合的裸手汉字书写方法及系统。

背景技术

虚拟现实(Virtual RealityVR)是以计算机技术为核心，结合相关科学技术，生成与一定范围真实环境在视、听、触感等方面高度近似的数字化环境，用户借助必要的装备与数字化环境中的对象进行交互作用、相互影响，可以产生亲临对应真实环境的感受和体验.(赵沁平《中国科学(F辑:信息科学)》)

人机交互技术包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息，回答问题及提示请示等。作为革命性的产品,Kinect体感设备能够获取彩色图像、深度图像以及人体骨骼图像,并提供了一种全新的人机交互的方式。它能够捕捉、跟踪人体的动作、手势和声音。(王松林《基于Kinect的手势识别与机器人控制技术研究》)

手势识别是一个非常具有挑战性的研究课题。自然手势存在多样性、多义性等特点，复杂的动态手势必须考虑到手势时间序列上的变化、手的运动轨迹、手的外形特征等多个方面，这使得手势识别技术面临许多关键问题。并且在Kinect作用下进行的手势识别与轨迹跟踪存在精度不高、稳定性不高和抖动的现象，导致结果不稳定、达不到实时的人机交互效果。

基于数据手套的手势识别技术是根据数据手套传输的数据来解析相应的手势。同基于视觉信息的手势识别技术相比,基于数据手套的手势识别方法具有受环境干扰小,识别率高,实时性强等优势。随着人机交互方式多元化的发展,基于数据手套的手势识别技术愈加受到关注和研究。(臧坤《数据手套手势识别技术研究》)

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于Kinect上Unity界面的静动态手势结合的汉字书写方法及系统，该方法主要使用Kinect设备、结合静动态手势、在Unity界面进行显示，裸手来模拟汉字书写。旨在实现“字母->拼音->汉字”的整个书写过程。

本发明解决上述技术问题采用的技术方案如下：

一种静动态手势结合的汉字书写方法，该方法包括如下步骤：

采用Kinect进行人脸检测，确定操作者；

识别操作者双手轮廓及各指指尖，并确定书写指尖；

实时跟踪书写指尖并进行轨迹绘制，检测到绘制完成命令时，将留有书写轨迹的图片进行OCR识别；获得相应字母，当获得的字母不是预期字母时，触发将该字母删除，重新绘制；重复该步直至完成整个拼音；

根据整个拼音推送该拼音相应的候选汉字，采用静态手势选择所需汉字。

一种静动态手势结合的汉字书写系统，该系统包括实现书写字母的客户端和实现Unity汉字显示界面的服务器，客户端基于Kinect设备，且客户端与服务器间通过Socket通信来连接；在客户端完成对操作者的人脸检测及对双手轮廓及指尖的检测；并通过实时跟踪指尖的移动来进行轨迹的绘制；检测到绘制完成命令后，对轨迹图片进行OCR识别，获得相应的字母；直至完成拼音，客户端将整个拼音发送至服务器，服务器显示该拼音候选汉字，由静态手势选择预期汉字。

通常，跟踪指尖的移动时会出现“抖动”的现象，主要因为系统中的噪声和干扰的影响。在本发明中跟踪指尖过程采用Kalman滤波进行平滑操作。

在进行轨迹绘制时，设置断点：将手握拳使得系统检测不到书写指尖，形成断点，保持握拳状态将手从上一笔划终点移动至下一笔划起点，伸出书写指尖继续书写。采用该方法可有效提高轨迹的规范性及可识别性。

上述技术方案中，检测双手轮廓及指尖的具体方法可以参考《基于Kinect的三维多手指跟踪算法及应用》(晏浩)，采用基于像素分类的指尖检测算法，但进行一定改进：根据Kinect数据的特点，定义四个形状特征，然后通过GPU对手区域进行基于像素的分类，在得到分类结果之后，不直接对指尖区域进行聚类得到指尖位置，而是将指尖区域和手指区域结合起来，对这些区域进行椭圆拟合，该算法不仅提高了指尖检测的速度，而且大大的提高了识别的准确性。

本发明重在完成动态手势书写字母、多个书写字母构成拼音、静态手势选择预期汉字。过程通俗易懂，便于在实验室进行实现和研究。对于往后静动态手势的应用前景指明了方向、铺平了道路。

附图说明

图1为系统操作流程图；

图2为Socket通信关系图；

图3为实现书写字母的操作界面图；

图4为指尖移动轨迹绘制示例图；