[发明专利]一种无声语音识别方法及系统在审
申请号: | 202010529322.0 | 申请日: | 2020-06-11 |
公开(公告)号: | CN111723717A | 公开(公告)日: | 2020-09-29 |
发明(设计)人: | 赵涛;陶文源;闫野;印二威;马权智;刘璇恒;谢良 | 申请(专利权)人: | 天津大学 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/62;G06N3/04 |
代理公司: | 天津市北洋有限责任专利代理事务所 12201 | 代理人: | 李林娟 |
地址: | 300072*** | 国省代码: | 天津;12 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 无声 语音 识别 方法 系统 | ||
1.一种无声语音识别方法,其特征在于,所述方法包括:
采集说话时的面部肌电信号数据和声带振动信号数据;
对采集到的两种数据分别进行预处理,经过特征提取及融合后,使用深度学习依次进行训练和识别;
将识别出的命令结果发送至接收设备或被操控设备。
2.根据权利要求1所述的一种无声语音识别方法,其特征在于,所述对采集到的两种数据分别进行预处理具体为:
将采集到的面部肌电信号使用陷波器去除工频干扰,然后使用带通滤波器进行滤波降噪,对喉部送话器采集到的声带振动信号进行去基线后,使用低通滤波器进行降噪,再分别提取有效活动段的数据;
采用TKE算子,对于一段已经滤波降噪后的一维数据计算公式如下,
Ψ[x(n)]=x2(n)-x(n+1)x(n-1)
再根据设定好的阈值从数据Ψ[x(n)]中找到信号活动段的起始位置对原数据x(n)进行活动段提取;
分别进行归一化处理后得到高信噪比的面部表面肌电信号预处理数据,和声带振动信号的预处理数据。
3.根据权利要求l所述的一种无声语音识别方法,其特征在于,所述特征提取及融合具体为:
将面部肌电信号数据进行特征提取后的5种特征数据通过对齐时间帧的方式组合成二维特征,声带振动信号的特征数据以相同的方式进行组合;
对这两种信号组合后的二维特征数据根据实际效果调整不同的权重再进行组合,作为神经网络算法进行训练或识别的最终数据,通过特征融合加快训练或识别数据。
4.一种无声语音识别系统,所述系统包括:数据采集模块、信号处理模块和通讯交互模块,其特征在于,
所述数据采集模块包含两种信息采集单元:面部肌电信号采集单元、声带振动信号采集单元,在无声方式说话时分别同步采集面部肌肉运动产生的电信号数据和声带运动时的振动信号数据;
所述信号处理模块包括:预处理单元、特征提取单元以及识别单元;
其中,预处理单元用于处理数据采集模块接收到的面部肌电信号数据,声带振动信号数据,分别对这两种数据信号进行预处理,特征提取,采用机器学习算法或深度学习方法对融合后的特征数据进行无声语音识别并将结果发送至通讯交互模块。
5.根据权利要求4所述的一种无声语音识别系统,其特征在于,
所述声带振动信号采集单元监测用户是否开始交流,若开始,则各信息采集单元进行相应数据采集;否则,处于待机状态。
6.根据权利要求4所述的一种无声语音识别系统,其特征在于,所述系统还包括:
检测通信环境是否正常,若正常,则将识别到的指令信息发送至通讯交互模块,完成通信交流及外部设备控制;否则,用户重复所说内容。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于天津大学,未经天津大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010529322.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种用于演出的灯管控制系统
- 下一篇:薄膜晶体管、阵列基板及其制造方法