[发明专利]基于手势识别和VR显示的聋哑人辅助工具及其实现方法

说明书

本发明公开了基于手势识别和VR显示的聋哑人辅助工具及其实现方法，包括穿戴式虚拟显示器、Leap Motion手势追踪传感器及终端计算机，所述穿戴式虚拟显示器通过USB端口、HDMI端口与终端计算机连接实现数据传输与数据解析，所述Leap Motion手势追踪传感器横向固定于穿戴式虚拟显示器前部使得Leap Motion手势追踪传感器中内置的红外灰阶相机面向前方设置，所述Leap Motion手势追踪传感器与终端计算机连接使得Leap Motion手势追踪传感器中的红外灰阶相机采集到的手势动作可显示于穿戴式虚拟显示器中，本发明通过Leap Motion手势追踪传感器与穿戴式虚拟显示器相结合，解决聋哑人听力问题的同时也解决了聋哑人语言表达能力障碍。

技术领域

本发明涉及聋哑人辅助工具技术领域，具体是指基于手势识别和VR显示的聋哑人辅助工具及其实现方法。

背景技术

据最新资料统计说明，我国听力语言残疾居视力残疾、肢残、智残等五大残疾之首，为2057万人，占中国人口总数的1.67％，其中7岁以下儿童约为80万人。据统计，我国聋哑症的发病率约为2‰！按年均人口出生率计算，连同出生后2～3岁婴幼儿，每年总的群体达5700万，听损伤的发病人数约为17万。我国每年有2000万新生儿出生，约有3万听力损害的新生儿出现。聋哑人遇到的问题，一、生活问题：缺乏对外界的感知。不能开车、不能献血(因为人道主义)等。二、工作问题：因为生理原因会受到很多限制，很多类型的工作无法完成。三、心理问题：因为所有生理缺陷，难免受到别人歧视，因此在克服生活方面的不便时需要坚强的意志力。大部分人不懂手语，难以沟通，目前市面上对于聋哑人辅助设备的实现方式主要是通过佩戴助听器来解决，但并不是所有的聋人都能戴上助听器就可以听到声音，部分听力障碍十分严重的患者是无法通过佩戴助听器来获得听力的，而且现有的助听器无法实现聋哑人与正常人的日常交流。

发明内容

为解决上述问题，本发明提供的技术方案为：、基于手势识别和VR显示的聋哑人辅助工具，包括穿戴式虚拟显示器、Leap Motion手势追踪传感器及终端计算机，所述穿戴式虚拟显示器通过USB端口、HDMI端口与终端计算机连接实现数据传输与数据解析，所述LeapMotion手势追踪传感器横向固定于穿戴式虚拟显示器前部使得Leap Motion手势追踪传感器中内置的红外灰阶相机面向前方设置，所述Leap Motion手势追踪传感器与终端计算机连接使得Leap Motion手势追踪传感器中的红外灰阶相机采集到的手势动作可通过终端计算机显示于穿戴式虚拟显示器中。实现AR效果。

作为改进，还包括扬声器及麦克风，所述扬声器、麦克风均与终端计算机连接。

本发明还公开了基于手势识别和VR的聋哑人辅助工具的实现方法，包括以下步骤：

(1)连接系统：将穿戴式虚拟显示器通过USB端口、HDMI端口与终端计算机连接，并使Leap Motion手势追踪传感器横向固定于穿戴式虚拟显示器前部并与终端计算机连接。

(2)深度学习网络识别训练：

A、选取特征值：特征值的分类个数选择15个分类，其分别是阿拉伯数字1-10及5个特殊手势；

B、建立神经网络：神经网络(非传统图像识别的卷积神经网络，较传统CNN训练更加高效和准确)设计采用了5层全连接的神经网络，分别为一层输入层，三层隐含层和一层输出层，其中输入层采用16个神经元，输出层采用15个神经元，隐含层经过实验调参后确定隐含层为10个神经元。

(2)样本数据生成：针对步骤(2)特征值分类的1-15个类型，分别单独生成与其所对应的所有特征值数据。

A1、选择特征值分类中的一个特征值分类，使用手指在Leap Motion手势追踪传感器前做出与特征值对应的动作；

B1、不断改变手指在Leap Motion手势追踪传感器的坐标系统中的位置，以及进行相应的旋转，部分遮挡；