[发明专利]一种实现手语识别的移动终端及方法

说明书

技术领域

本发明涉及移动终端的通信技术，特别涉及一种实现手语识别的移动终端及方法。

背景技术

随着移动终端的不断发展，移动终端上集成的功能越来越多，比如增加了音乐播放功能以及照相功能等。有了这些集成的功能，可以为不同类型的用户提供个性化的服务。为无法用语言交流的聋哑人提供手语通信就是移动终端可以采用照相功能提供的功能之一。

手语识别技术起源于上世纪90年代，目前还处于研究阶段。视频手语识别过程中的手势信息步骤识别大致分为“视觉图像识别”和“数据手套”两种。总的来说，就是通过视频采集手语图像，通过“视觉图像识别”或“数据手套”方式通过视频采集手势信息。最后，再将得到的手势信息根据预设的模型得到语句。

目前，采用视频手语识别的具体方案有以下几种：

第一种为charayahphan，该方法采用视觉图像识别手势信息，解析为美国手语表示的孤立词汇，识别率为87％；

第二种为Starner，该方法采用为基于固定于桌面或帽檐的单摄像头的手势信息识别，利用HMM模型，达到75.4％～97.8％不等的识别率；

第三种为Vogler，该方法采用位置跟踪器识别手势信息，利用HMM模型对手势信息进行手语词和连续语句进行识别，达到92.1％和95.8％的识别率；

第四种为Deng，该方法采用“数据手套”的方式采集手势信息后，根据建立的手语数据库将采集的手势信息转换为语句显示出来，识别率达到93.6％。

从上述方案可以看出，无论采用哪种视频手语识别方案，都没有在移动终端上实现，即移动终端无法进行视频手语识别，无法将识别得到的语音发送出去，和对方移动终端进行通信。

发明内容

有鉴于此，本发明提供一种实现手语识别的移动终端，该移动终端能够识别手语并将手语转换为语音，和其他移动终端通信。

本发明还提供一种实现手语识别的方法，该方法能够识别手语，将手语转换为语音，和其他移动终端通信。

根据上述目的，本发明的技术方案是这样实现的：

一种实现手语识别的移动终端，包括采集视频手语模块、图像处理模块、手势数据库及识别模块，其中，

采集视频手语模块，用于采集手语图像将该手语图像分解为连续的若干帧后，传输给图像处理模块；

图像处理模块，用于对接收的连续的若干帧的手语图像进行处理，得到手势信息后，发送给识别模块；

识别模块，用于调用手势数据库，将手势信息转换为语音。

较佳地，所述采集视频手语模块、图像处理模块、手势数据库及识别模块由移动终端中的中央处理器CPU控制。

较佳地，所述图像处理模块包括背景去除模块、手掌位置判断模块及提取手势信息模块，其中，

背景去除模块，用于根据预存的用户肤色信息去除得到的手语图像背景；

手掌位置判断模块，用于从去除背景后的手语图像中得到手朝向信息；

提取手势信息模块，用于根据手朝向信息和预存的手指信息从去除背景后的手语图像中提取手势信息。

较佳地，所述的手势数据库、预存的用户肤色信息及预存的手指信息都设置在移动终端的存储器中。

一种实现手语识别的方法，所述方法包括：

移动终端将采集的手语图像，分解为连续的若干帧；

移动终端对连续的若干帧的手语图像进行处理，得到手势信息；

移动终端根据预设的手势数据库，将手势信息转换为语音。

较佳地，所述对连续的若干帧的手语图像进行处理，得到手势信息是采用“数据手套”方式进行的，过程为：

较佳地，所述连续的若干帧的手语图像为手指上带不同颜色指帽的手语图像；

对所述连续的若干帧的手语图像进行背景去除后，对去除背景后的手语图像中的手掌进行椭圆拟合，得到手朝向信息；

根据手朝向确定带有不同颜色指帽的手指所在相对位置，提取手势信息。

较佳地，所述背景去除是根据预先存储的用户肤色信息去除的；

较佳地，所述确定带有不同颜色指帽的手指所在相对位置是根据预先存储的手指信息确定的。

较佳地，所述预先存储的用户肤色信息和/或预先存储的手指信息是经过移动终端的学习过程得到的。

较佳地，所述连续的若干帧的手语图像为单手图像；或者为双手图像，其中一只手带有颜色的手套。