[发明专利]语音特征向量的提取方法、装置、计算机设备和存储介质有效
申请号: | 202010327094.9 | 申请日: | 2020-04-23 |
公开(公告)号: | CN111223476B | 公开(公告)日: | 2020-08-04 |
发明(设计)人: | 徐泓洋;王广新;杨汉丹 | 申请(专利权)人: | 深圳市友杰智新科技有限公司 |
主分类号: | G10L15/06 | 分类号: | G10L15/06;G10L15/16;G10L15/02;G06N3/08;G06N3/04 |
代理公司: | 深圳市明日今典知识产权代理事务所(普通合伙) 44343 | 代理人: | 王杰辉 |
地址: | 518000 广东省深圳市南山区招商*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 语音 特征向量 提取 方法 装置 计算机 设备 存储 介质 | ||
1.一种语音特征向量的提取方法,其特征在于,包括以下步骤:
获取语音信息,所述语音信息中包括多个依次排序的帧数据;
按照所述帧数据在所述语音信息中的顺序,依次将每一个帧数据输入至预先训练得到的帧向量提取神经网络中,提取每一个所述帧数据对应的第一向量,作为所述语音信息的特征向量;其中,所述帧向量提取神经网络为基于语音训练数据以及所述语音训练数据对应的词向量训练目标神经网络所得;
其中,所述目标神经网络的训练过程为:
获取目标语音信息中的目标帧数据以及所述目标帧数据前后的多帧数据;
将所述目标帧数据前后的多帧数据输入至第一神经网络中,预测出目标帧数据的预测向量;
将所述目标帧数据输入至第二神经网络中,提取所述目标帧数据对应的目标向量;
通过拟合函数计算所述目标向量以及所述预测向量的相似度,并迭代优化拟合函数的参数,以训练完成所述第一神经网络以及第二神经网络,将训练完成的所述第二神经网络作为所述目标神经网络。
2.根据权利要求1所述的语音特征向量的提取方法,其特征在于,所述获取语音信息的步骤之前,包括:
获取语音训练数据;其中,所述语音训练数据为单个训练词及其对应的音频训练数据,所述音频训练数据包括多个依次排序的训练帧数据;
按照所述训练帧数据在所述音频训练数据中的顺序,依次将每一个训练帧数据输入至预先训练得到的目标神经网络中,提取每一个所述训练帧数据对应的第二向量;
将所有训练帧数据对应的第二向量进行求和,得到和向量;
获取所述语音训练数据中单个训练词的词向量;
将所述和向量与所述词向量进行拟合,并训练所述目标神经网络的网络参数,得到所述帧向量提取神经网络。
3.根据权利要求2所述的语音特征向量的提取方法,其特征在于,所述获取所述语音训练数据中单个训练词的词向量的步骤,包括:
通过预设的词嵌入模型构建所述训练词的词向量,预设的所述词嵌入模型包括word2vec、GloVe模型。
4.根据权利要求1所述的语音特征向量的提取方法,其特征在于,所述帧向量提取神经网络至少包括输入层、输出层以及投射层,所述投射层用于将帧数据投射至向量空间,得到对应的向量。
5.根据权利要求1所述的语音特征向量的提取方法,其特征在于,所述按照所述帧数据在所述语音信息中的顺序,依次将每一个帧数据输入至预先训练得到的帧向量提取神经网络中,提取每一个所述帧数据对应的第一向量的步骤之后,包括:
将所述特征向量输入至语音模型中进行识别,得到识别结果;
获取所述语音信息的真实结果,判断所述识别结果与所述真实结果是否一致;
若不一致,则将所述语音信息标注真实结果组成训练对,输入至所述帧向量提取神经网络中迭代训练。
6.一种语音特征向量的提取装置,其特征在于,包括:
第一获取单元,用于获取语音信息,所述语音信息中包括多个依次排序的帧数据;
第一提取单元,用于按照所述帧数据在所述语音信息中的顺序,依次将每一个帧数据输入至预先训练得到的帧向量提取神经网络中,提取每一个所述帧数据对应的第一向量,作为所述语音信息的特征向量;其中,所述帧向量提取神经网络为基于语音训练数据以及所述语音训练数据对应的词向量训练目标神经网络所得;
还包括:
第四获取单元,用于获取目标语音信息中的目标帧数据以及所述目标帧数据前后的多帧数据;
预测单元,用于将所述目标帧数据前后的多帧数据输入至第一神经网络中,预测出目标帧数据的预测向量;
第三提取单元,用于将所述目标帧数据输入至第二神经网络中,提取所述目标帧数据对应的目标向量;
网络训练单元,用于通过拟合函数计算所述目标向量以及所述预测向量的相似度,并迭代优化拟合函数的参数,以训练完成所述第一神经网络以及第二神经网络,将训练完成的所述第二神经网络作为所述目标神经网络。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市友杰智新科技有限公司,未经深圳市友杰智新科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010327094.9/1.html,转载请声明来源钻瓜专利网。