[发明专利]基于深度度量网络的语音合成方法及装置有效
申请号: | 201811102108.6 | 申请日: | 2018-09-20 |
公开(公告)号: | CN109346056B | 公开(公告)日: | 2021-06-11 |
发明(设计)人: | 陶建华;傅睿博;温正棋;李雅 | 申请(专利权)人: | 中国科学院自动化研究所 |
主分类号: | G10L13/02 | 分类号: | G10L13/02;G10L13/08;G06N3/04;G06N3/08 |
代理公司: | 北京市恒有知识产权代理事务所(普通合伙) 11576 | 代理人: | 郭文浩 |
地址: | 100190 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 深度 度量 网络 语音 合成 方法 装置 | ||
1.一种基于深度度量网络的语音合成方法,其特征在于,所述深度度量网络包括特征提取层、特征编码层和余弦距离计算层;
所述语音合成方法包括:
将待测文本信息拆分为多个文本基元,并利用所述特征提取层提取每个文本基元对应的文本特征;
基于每个所述文本基元从预设语料库中获取所述文本基元对应的多个候选基元,并利用所述特征提取层提取每个所述候选基元对应的文本特征和声学特征;
利用所述特征编码层对所述文本基元对应的文本特征进行编码得到第一特征向量,对所述候选基元的文本特征和声学特征进行编码得到第二特征向量;
利用所述余弦距离计算层计算每个所述文本基元对应的第一特征向量与其对应候选基元的第二特征向量之间的余弦距离,根据所述余弦距离获取所述每个文本基元与其对应的候选基元之间的目标代价;
利用语音合成系统并根据所述目标代价对所述候选基元进行拼接合成语音;
其中,所述深度度量网络是基于预设的语料库并且利用机器学习算法所构建的神经网络。
2.根据权利要求1所述的一种基于深度度量网络的语音合成方法,其特征在于,在“将待测文本信息拆分为多个文本基元,并利用所述特征提取层提取每个文本基元对应的文本特征”的步骤之前,所述方法还包括:
从所述语料库选取目标基元,并且选取与所述目标基元相似的候选基元构成正样本对,选取与所述目标基元发音不同的候选基元构成负样本对;
计算所述正样本对之间的欧氏距离得到所述正样本对内目标基元与候选基元之间的第一初始目标代价,以及设定所述负样本对内目标基元与候选基元之间的第二初始目标代价;
根据所述第一初始目标代价、第二初始目标代价、正样本对和负样本对并且利用机器学习算法对所述深度度量网络进行网络训练。
3.根据权利要求2所述的一种基于深度度量网络的语音合成方法,其特征在于,“计算所述正样本对之间的欧氏距离得到所述正样本对内目标基元与候选基元之间的第一初始目标代价”的步骤包括:
提取所述正样本对中目标基元的文本特征和声学特征及其对应候选基元的文本特征和声学特征;
基于所述目标基元的文本特征和声学特征及其对应候选基元的文本特征和声学特征,利用欧式距离算法计算所述正样本对之间的第一初始目标代价。
4.根据权利要求3所述的一种基于深度度量网络的语音合成方法,其特征在于,“根据所述第一初始目标代价、第二初始目标代价、正样本对和负样本对并且利用机器学习算法对所述深度度量网络进行网络训练”的步骤包括:
根据所述第一初始目标代价、所述第二初始目标代价、所述正样本对的文本特征和声学特征以及所述负样本对的文本特征和声学特征,并且利用机器学习算法对所述深度度量网络进行初次网络训练;
利用所述初次网络训练后的深度度量网络预测所述正样本对内目标基元与候选基元之间的第一目标代价以及所述负样本对内目标基元与候选基元之间的第二目标代价;
根据所述第一目标代价、第二目标代价、所述正样本对内目标基元的文本特征、所述正样本对内候选基元的文本特征和声学特征以及所述负样本对内目标基元的文本特征、所述负样本对内候选基元的文本特征和声学特征,并且利用机器学习算法对所述初次网络训练后的深度度量网络再次进行网络训练。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院自动化研究所,未经中国科学院自动化研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811102108.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种主动降噪方法与装置
- 下一篇:一种智能儿童玩具的语音处理系统