[发明专利]深层神经网络AR手语翻译学习方法、客户端及服务器

权利要求书

1.一种深层神经网络AR手语翻译学习方法，其特征在于，包括以下方法：

A：接收并识别终端设备（1）上传的手语动作数据、面部表情数据和外部环境数据，然后结合面部表情数据和外部环境数据将手语动作转换为包含标点符号的自然语言发送给终端设备（1）；

B：接收并识别终端设备（1）上传的自然语言数据，将自然语言数据转换为手语动作数据，并基于手语动作数据构建动态虚拟人物，同时对语音语言的说话语气或者文本语言的标点符号进行识别，然后将识别结果进行处理后将对应的语气、标点符号内容体现在动态虚拟人物的动作和/或表情上，将动态虚拟人物发送至给终端设备（1）以在终端设备（1）上显示做着手语动作的动态虚拟人物；

当接收到终端设备（1）的教学请求的时候，进入教学模式，并执行以下步骤：

接收用户在终端设备（1）中输入的文字数据和/或语音数据，将文字数据和/或语音数据转换为手语动作数据并通过动态虚拟人物将手语动作动返回给相应的请求端；

或者接收终端设备（1）拍摄到的图片数据，识别图片内容并将图片内容转换为手语动作数据，或者同时转换为文字数据，并将转换结果返回给相应的请求端。

2.根据权利要求1所述的深层神经网络AR手语翻译学习方法，其特征在于，在步骤A中，通过以下方法将手语动作转换为自然语言动作：

将手语动作数据与大数据库中的手语数据库进行分析匹配，同时将面部表情数据与大数据库中的面部表情数据库进行分析匹配和将外部环境数据根据图片数据库进行分析匹配，通过对手语动作数据的分析将手语动作初步翻译成待处理自然语言，然后结合面部表情分析结果和周围环境分析结果将待处理自然语言进行检查、纠正以及补充得到完整的自然语言，然后将完整的自然语言数据发送给终端设备（1）；

在步骤B中，通过以下方法将自然语言转换为手语动作：

将自然语言数据与大数据库中的自然语言数据库进行分析匹配并根据分析结果将自然语言数据转换为手语动作数据，并建立动态虚拟人物，将手语动作数据与动态虚拟人物以对应关系发送至终端设备（1）并使动态虚拟人物在终端设备（1）上做出相应的手语动作。

3.根据权利要求2所述的深层神经网络AR手语翻译学习方法，其特征在于，在步骤A中，面部表情数据和外部环境数据通过景深摄像头捕捉识别得到；手语动作数据通过景深摄像头和/或体感传感器对用户的手语动作进行捕捉得到。

4.根据权利要求3所述的深层神经网络AR手语翻译学习方法，其特征在于，所述的体感传感器包括由套设在用户手指关节上的若干智能织物弯曲传感器组成的数据手套，且该数据手套通过无线模块连接于终端设备（1）。

5.根据权利要求4所述的深层神经网络AR手语翻译学习方法，其特征在于，所述的景深摄像头被安装在终端设备（1）中，所述的终端设备（1）包括聋哑终端设备（11）和普通终端设备（12）上，且所述的聋哑终端设备（11）和普通终端设备（12）均包括智能终端和/或虚拟现实设备，所述的聋哑终端设备（11）和普通终端设备（12）均连接于服务器（2），且聋哑终端设备（11）与普通终端设备（12）之间无线通讯连接。

6.根据权利要求1-5任意一项所述的深层神经网络AR手语翻译学习方法，其特征在于，构建深层神经网络学习机制并基于接收到的手语动作数据、面部表情数据和周围环境数据执行神经网络算法和学习算法以进行神经网络自学习和将手语动作与自然语言之间的相互转换；

当接收终端设备（1）上传的完善请求时，进入完善模式，并执行以下步骤：

接收用户上传的手语动作和对应的文字和/或语音，通过检测后将手语动作和对应的文字和/或语音录入至大数据库。