[发明专利]一种实时手语翻译方法及系统在审
申请号: | 202010823996.1 | 申请日: | 2020-08-17 |
公开(公告)号: | CN111881697A | 公开(公告)日: | 2020-11-03 |
发明(设计)人: | 夏春明;章含阳;王新平;封万俊 | 申请(专利权)人: | 华东理工大学 |
主分类号: | G06F40/58 | 分类号: | G06F40/58;G06K9/00;G06K9/62;G06F3/01;G06N3/04;G06N3/08 |
代理公司: | 上海科盛知识产权代理有限公司 31225 | 代理人: | 蔡彭君 |
地址: | 200237 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 实时 手语 翻译 方法 系统 | ||
1.一种实时手语翻译方法,其特征在于,包括如下步骤:
S1:肌音信号无线采集手环(1)获取多个不同手语动作的肌音信号并进行预处理,预处理后的肌音信号传输至上位机(3);
S2:所述上位机(3)以预处理后的肌音信号以及其对应的手语含义为训练集数据,训练得到分类模型,其中所述分类模型的输入为预处理后的肌音信号,输出为预处理后的肌音信号对应的手语含义;
S3:将分类模型移植到肌音信号无线采集手环(1)上;
S4:肌音信号无线采集手环(1)实时获取当前手语动作的肌音信号进行预处理,并输入至分类模型识别得到识别结果;
S5:将识别结果通过语音播报器(2)实时播报。
2.根据权利要求1所述的一种实时手语翻译方法,其特征在于,所述预处理的过程具体为:在肌音信号无线采集手环(1)上采用基于指数加权平均的分割算法对获取到的连续的肌音信号进行实时分割,得到单独的动作帧。
3.根据权利要求1所述的一种实时手语翻译方法,其特征在于,所述分类模型为BPNN算法建立4层深度神经网络的模式识别分类模型。
4.一种实时手语翻译系统,其特征在于,包括:
肌音信号无线采集手环(1),被配置为执行以下步骤:采集肌音信号并预处理,将预处理后的肌音信号传输至上位机,接收并存储上位机训练好的分类模型,基于预处理后的肌音信号和分类模型识别手语动作并将识别结果传输至语音播报器,其中所述分类模型的输入为预处理后的肌音信号,输出为预处理后的肌音信号对应的手语含义;
上位机(3),被配置为接收预处理后的肌音信号并以预处理后的肌音信号以及其对应的手语含义为训练集数据,训练得到分类模型;
语音播报器(2),被配置为接收肌音信号无线采集手环(1)的识别结果并进行语音播报。
5.一种实时手语翻译信息处理方法,其特征在于,包括如下步骤:
肌音信号无线采集手环(1)获取多个不同手语动作的肌音信号并进行预处理,预处理后的肌音信号传输至上位机(3);
接收上位机训练好的分类模型并存储,其中,所述分类模型的输入为预处理后的肌音信号,输出为肌音信号对应的手语含义;
实时获取当前手语动作的肌音信号进行预处理,并输入至分类模型识别得到识别结果。
6.一种实时手语翻译系统,其特征在于,包括:
肌音信号无线采集手环(1),被配置为执行以下步骤:采集肌音信号并预处理,将预处理后的肌音信号传输至上位机(3),接收并存储上位机(3)训练好的分类模型,基于预处理后的肌音信号和分类模型识别手语动作并将识别结果传输至语音播报器,其中所述分类模型的输入为预处理后的肌音信号,输出为预处理后的肌音信号对应的手语含义;
语音播报器(2),被配置为接收肌音信号无线采集手环(1)的识别结果并进行语音播报。
7.根据权利要求4或6所述的一种实时手语翻译系统,其特征在于,所述肌音信号无线采集手环(1)包括刚性表带和固定于表带上的控制盒,所述控制盒包括手环外壳(19)、第一支架(16),电池、PCB主板(18)、STM32H743核心板(11)和多个加速度传感模块,所述STM32H743核心板(11)与PCB主板(18)连接,所述加速度传感模块和电池与PCB主板(18)连接,所述电池、PCB主板(18)和STM32H743核心板(11)均置于由手环外壳(19)和第一支架(16)组装内腔中,且所述手环外壳(19)上设有用于加速度传感模块穿过的通孔。
8.根据权利要求7所述的一种实时手语翻译系统,其特征在于,所述PCB主板(18)包括基板和设于基板上的3.5mm音频线接口(181)、60-pin连接器(182)、开关(183)、稳压模块(184)和第一Wifi模块(185),所述60-pin连接器(182)连接STM32H743核心板(11)连接。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华东理工大学,未经华东理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010823996.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种高山救援用的多功能储物背包
- 下一篇:一种可自动清理并消毒病人痰液装置