[发明专利]深层神经网络AR手语翻译学习方法、客户端及服务器

说明书

本发明公开了一种深层神经网络AR手语翻译学习方法、客户端及服务器，包括以下步骤：A：接收并识别终端设备上传的手语动作数据，将手语动作转换为自然语言发送给终端设备；或者，同时接收面部表情数据和/或外部环境数据，然后结合面部表情数据和/或外部环境数据将手语动作转换为自然语言发送给终端设备；B：接收并识别终端设备上传的自然语言数据，将自然语言数据转换为手语动作数据并基于手语动作数据构建动态虚拟人物，将动态虚拟人物发送给终端设备以在终端设备上显示手语动作。本发明的优点在于：将对手语动作的翻译结合于用户的面部表情和周围环境，提高翻译的准确率。

技术领域

本发明属于手语翻译领域，尤其是涉及一种深层神经网络AR手语翻译学习方法、客户端及服务器。

背景技术

据最新资料统计说明，我国听力语言残疾居视力残疾、肢残、智残等五大残疾之首，为2057万人，占中国人口总数的1.67%。他们无法像正常人一样交流沟通，造成了他们工作、学习、娱乐、就医、维权等生活状态的混乱，许多低文化聋哑人甚至面临生存的危机。曾经社会的忽略不仅让他们在日益激烈的社会竞争中处于了被动、尴尬、自卑的角色里，更使一些人在困窘与寂寞中走上了违法犯罪的道路，聋哑人生存现状堪忧。

聋哑人遇到的问题主要有以下几个部分：

生活问题：缺乏对外界的感知，无法与不懂手语的普通人正常交流。

工作问题：因为生理原因会受到很多限制，很多类型的工作无法完成。

心理问题：因为所有生理缺陷，无法与正常人正常交流导致难以融入小团体造成心理上的孤单。

为了解决聋哑人的交流生活问题，人们进行了长期的探索，例如中国专利公开了一种聋哑人辅助方法、装置以及电子设备[申请号：201680006924.X]，包括：接收声音；对所述声音进行识别并根据识别结果将所述声音转换为显示信号；在所述显示信号的驱动下进行显示；所述对所述声音进行识别并根据识别结果将所述声音转换为显示信号，包括：对所述声音的种类进行识别；当所述声音为说话声时，识别所述说话声的内容，根据所述说话声的内容将所述说话声转换为用于驱动显示文字的显示信号；当所述声音为环境声时，识别所述环境声的类别，根据所述环境声的类别将所述环境声转换为用于驱动显示标识的显示信号。

以及一种手语语音双向翻译系统[申请号：CN201010139012.4]，基于微惯导传感的手语动作捕捉系统、微惯导信号处理与分析系统、一训练完整的手语动作特征分类器、用来训练手语动作分类器的手语动作特征数据库、语音文字数据库、视频/动画数据库、语音信号采集系统、语音分析系统、发声系统和显示系统；其中：所述手语动作捕捉系统与所述微惯导信号处理与分析系统通信连接，所述手语动作分类器分别与所述手语动作特征数据库、微惯导信号处理与分析系统、语音文字数据库、视频/动画数据库、显示系统通信连接，所述语音文字数据库还与所述语音分析系统和视频/动画数据库通信连接，所述语音信号采集系统和发声系统分别与所述语音分析系统通信连接。

上述方案能够实现对自然语言与手语语言之间的转换，为聋哑人与普通人之间的交流提供了中间桥梁，解决了聋哑人与普通人交流的问题，但是上述方案仍然存在缺陷，例如聋哑人使用的一些句子会使用相同的手语或者需要借助外部环境的物体，在自然情况下，两个用手语交流的人都会结合对对方面部表情的观察和外部环境理解对方的意思，但是上述两个方案在进行翻译的时候就会忽略面部表情和周围环境，通常容易出现歪曲说话者意思的问题，导致交流受阻。

发明内容

本发明的目的是针对上述问题，提供一种深层神经网络AR手语翻译学习方法；

本发明的另一个目的是针对上述问题，提供一种用于深层神经网络AR手语翻译学习的客户端；

本发明的另一个目的是针对上述问题，提供一种用于深层神经网络AR手语翻译学习的服务器。

为达到上述目的，本发明采用了下列技术方案：