[发明专利]发音偏误检测方法、装置、存储介质及设备有效
申请号: | 201710895726.X | 申请日: | 2017-09-28 |
公开(公告)号: | CN107610720B | 公开(公告)日: | 2020-08-04 |
发明(设计)人: | 解焱陆;牛传迎;张劲松 | 申请(专利权)人: | 北京语言大学 |
主分类号: | G10L25/51 | 分类号: | G10L25/51;G10L25/45;G10L15/06;G10L15/10;G10L15/16 |
代理公司: | 北京三友知识产权代理有限公司 11127 | 代理人: | 贾磊;王涛 |
地址: | 100083*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 发音 检测 方法 装置 存储 介质 设备 | ||
1.一种发音偏误检测方法,其特征在于,包括:
利用连接时序分类CTC方法检测已知正确语音中音素的关键帧位置,作为声学界标landmark;
基于所述landmark对待检测语音中所述音素进行发音偏误检测;
其中,所述利用连接时序分类CTC方法检测已知正确语音中音素的关键帧位置,作为声学界标landmark,包括:
利用CTC准则训练RNN声学模型;
利用训练后的RNN声学模型解码已知正确语音中处理单元的语音,得到处理单元的语音中所述音素在各时间帧上的后验概率的序列;
利用设定窗长、设定尖峰函数及序列中各后验概率,计算得到各时间帧对应的尖峰函数值;
计算所有大于零的尖峰函数值的均值和方差;
利用均值和方差得到切比雪夫不等式,并获取满足切比雪夫不等式的尖峰函数值;
在设定窗长范围内获取最大尖峰函数值;
利用最大尖峰函数值的尖峰位置确定所述音素的关键帧位置,作为landmark。
2.如权利要求1所述的发音偏误检测方法,其特征在于,利用最大尖峰函数值的尖峰位置确定所述音素的关键帧位置,包括:
判断已知正确语音的所述处理单元所对应的语音文本中是否包含所述尖峰位置所对应的音素;
若存在,则将所述尖峰位置作为关键帧位置;若不存在,则剔除所述尖峰位置,并从其余满足切比雪夫不等式的尖峰函数值中重新获取最大尖峰函数值,并利用重新获取的最大尖峰函数值的尖峰位置确定所述音素的关键帧位置。
3.如权利要求1所述的发音偏误检测方法,其特征在于,利用最大尖峰函数值的尖峰位置确定所述音素的关键帧位置,作为landmark,包括:
通过将所述关键帧位置与已知正确语音的所述处理单元所对应的标注文本音素时间信息相对比,确定所述音素的关键帧相对位置;
对所述音素的所有关键帧相对位置求平均,得到所述音素的最终关键帧,作为landmark。
4.如权利要求1所述的发音偏误检测方法,其特征在于,基于所述landmark对待检测语音中所述音素进行发音偏误检测,包括:
基于所述landmark,提取已知偏误类型语音中所述音素的声学特征和已知正确语音中所述音素的声学特征;
利用已知偏误类型语音中所述音素的声学特征和已知正确语音中所述音素的声学特征训练SVM分类器;
利用训练后SVM分类器对待检测语音中所述音素进行发音偏误检测。
5.如权利要求1至3任一项所述的发音偏误检测方法,其特征在于,所述设定尖峰函数为:
其中,Si(k,i,xi,T)表示尖峰函数值,T表示处理单元的语音中声韵母在各时间帧上的后验概率的序列,k表示窗长,xi表示序列T中第i个时间帧的后验概率的值,i为大于或等于零的整数。
6.一种发音偏误检测装置,其特征在于,包括:
声学界标确定单元,用于:利用连接时序分类CTC方法检测已知正确语音中音素的关键帧位置,作为声学界标landmark;
发音偏误检测单元,用于:基于所述landmark对待检测语音中所述音素进行发音偏误检测;
所述声学界标确定单元,包括:
声学模型训练模块,用于:利用CTC准则训练RNN声学模型;
概率序列生成模块,用于:利用训练后的RNN声学模型解码已知正确语音中处理单元的语音,得到处理单元的语音中所述音素在各时间帧上的后验概率的序列;
尖峰函数值生成模块,用于:利用设定窗长、设定尖峰函数及序列中各后验概率,计算得到各时间帧对应的尖峰函数值;
不等式参数生成模块,用于:计算所有大于零的尖峰函数值的均值和方差;
尖峰函数值筛选模块,用于:利用均值和方差得到切比雪夫不等式,并获取满足切比雪夫不等式的尖峰函数值;
最大尖峰函数值确定模块,用于:在设定窗长范围内获取最大尖峰函数值;
声学界标确定模块,用于:利用最大尖峰函数值的尖峰位置确定所述音素的关键帧位置,作为landmark。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京语言大学,未经北京语言大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710895726.X/1.html,转载请声明来源钻瓜专利网。