[发明专利]基于深度传感器的中文手语翻译方法

说明书

技术领域

本发明涉及一种手语翻译方法，特别涉及一种基于深度传感器的中文手语翻译方法。

背景技术

目前手语识别的研究主要集中在基于RGB光学图像上，这种手势识别系统的图像数据是由光学摄像头获取的，但是这种识别方式容易受到光照等外界条件干扰，识别准确率有待提高；数据手套的出现给研究员们提供了一种更加精确的手部定位方式,可是这种接触性的外设又会给用户带来诸多的不便；近现代以来手语识别发展到基于三维摄像机进行手语识别，该方法不仅仅能提高识别的精度还能带给用户更好的交互体验。

发明内容

本发明的目的是为了解决现有手语识别方法中所存在的诸多不足而提供的一种基于深度传感器的中文手语翻译方法。

本发明提供的基于深度传感器的中文手语翻译方法，其方法如下所述：

步骤一、手部形态信息及运动轨迹的提取，利用彩色图像中的人体肤色提取完成精准的手部形态提取；

步骤二、动态手语识别，将动态手语分为两类，一类为含有标志静态手型的动态手势，一类为完全由手部运动轨迹决定其语义的动态手势,第一类主要通过对标准静态手型的识别及标志静态手型出现的顺序作为此类手型识别结果的依据；第二类动态手型则是收集某段时间特征关节坐标变化的信息，从而推断出动态手语轨迹，后利用轨迹信息与标准动态手型轨迹进行对比判断，则可得出匹配结果；

步骤三、手部识别算法的实现；对于静态手语的识别主要通过Hu矩、手部凸包的相应算法提取手部特征，再利用有限状态机及动态时间规整算法实现手语识别；

步骤四、手语标准库的设计，在构建标准库时收入多用户，多测试角度的静态手型，进而方便静态手型识别被推广至更多的使用场合。

本发明的工作原理：

首先通过深度传感器得到深度图像、彩色图像和骨骼图像，在深度图像和骨骼图像基础上利用手部分割算法进行手掌骨截取，得到手部的深度图像。但是由于服饰等非手部因素影响，故再加入肤色识别、手部滤波等完成精准的手部形态提取，后将手型图二值化，采用边缘检测算法获得手部轮廓信息；然后利用Hu矩、手部凸包等方法提取手部特征，最后利用有限状态机及动态时间规整算法完成手语的识别。

本发明的有益效果：

本发明基于深度图像进行中文手语翻译方法，利用深度摄像头捕捉手的动作并进行翻译，通过文字或语音的形式显现出来，它增强了用户的趣味性和便利性，更为重要的是该发明主要是站在一些具有听力障碍的人群的角度而提出的，进而才在一些其它的场合得以应用。

附图说明

图1为本发明所述方法流程示意图。

图2为本发明所述手部形态信息提取示意图。

图3为本发明所述手语识别流程示意图。

图4为本发明所述HOG特征算法流程图。

具体实施方式

请参阅图1至图4所示：

本发明基于深度图像进行中文手语翻译方法，其方法如下所述：

步骤一、手部运动轨迹可以通过识别手掌关节相对于脊椎中部骨骼关节的矢量变化，协同判断其变化速度是否大于设定阈值来判断是否开始提取轨迹。

提取到的手型区域受到环境背景噪声的影响，所以需要利用彩色图像中的人体肤色提取完成精准的手部形态提取。

步骤二、动态手语识别,必须对手部特征进行提取即对手势的图形特征的提取。图像特征可为几何特征、纹理特征、灰度特征等，选取四种常见的静态手势识别算法提取图像特征信息，并对四种方式所得到的识别结果进行对比，从而得到最优的动态手势识别效果,具体方式如下：

方式1、Hu矩：

在图像处理中，经常利用矩方法得到图像的灰度密度分布特征，从而完成图像的特征提取。且该特征提取方法的时间复杂度和空间复杂度都较低，故简单的静态手势图像考虑选择较为成熟的矩特征作为首选特征提取方式^[11]。在以像素为单元的离散图像中，定义为图像函数，其阶几何矩和中心距分别为：

其中和代表图像的重心，N和M分别表征图像的高度和宽度。归一化的中心距定义为：

其中

利用二阶和三阶归一化中心距的方式，Hu推导出了7个不变矩M₁-M₇,其具有旋转，缩放和平移不变的特性。

M₁＝η₂₀+η₀₂