[发明专利]语音合成方法、装置、设备及存储介质在审
申请号: | 202111272328.5 | 申请日: | 2021-10-29 |
公开(公告)号: | CN113990286A | 公开(公告)日: | 2022-01-28 |
发明(设计)人: | 王昕;杨大明;聂吉昌;田维政 | 申请(专利权)人: | 北京大学深圳研究院 |
主分类号: | G10L13/02 | 分类号: | G10L13/02;G10L13/08;G10L13/04;G10L13/10 |
代理公司: | 深圳智汇远见知识产权代理有限公司 44481 | 代理人: | 牛悦涵 |
地址: | 518057 广东省深圳市高新*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 语音 合成 方法 装置 设备 存储 介质 | ||
1.一种语音合成方法,其特征在于,所述方法包括:
获取预构建的待合成文本,将所述待合成文本转化为基础音频数据;
利用预训练的情感识别模型对所述待合成文本进行情感识别,得到所述待合成文本的情感类型;
利用预训练的语义分析模型识别所述待合成文本的所属角色;
从预构建的语音区块链节点中查询所述所属角色及所述情感类型对应的发音参数;
将所述发音参数和所述基础语音数据输入至音频合成器进行合成,得到情感音频数据。
2.如权利要求1所述的语音合成方法,其特征在于,所述将所述待合成文本转化为基础音频数据,包括:
利用严氏标音法对所述待合成文本进行标音,得到音素序列;
从预构建的基础发音数据库提取所述音素序列中的各个音节的音频段;
根据所述音素序列的顺序将所述各个音节的音频段进行拼接,得到基础音频数据。
3.如权利要求1所述的语音合成方法,其特征在于,所述利用预训练的语义分析模型识别所述待合成文本的所属角色,包括:
当所述待合成文本中包含旁白文本及对话文本时,利用预训练的语义分析模型识别所述旁白文本的语义,根据所述旁白文本的语义确定所述旁白文本属于各个角色的所属分数;
判断各个所述所属分数中是否存在大于预设合格阈值的所属分数;
当存在大于或等于所述预设合格阈值的所属分数时,将大于或等于所述合格阈值的所属分数对应的角色作为所述待合成文本的所属角色;
当不存在大于或等于所述预设合格阈值的所属分数时,利用所述语义分析模型识别所述对话文本,得到所述对话文本属于各个角色的分数队列;
对所述旁白文本属于各个角色的所属分数与所述分数队列中各个得分,进行对应角色的分数叠加操作,并从叠加结果中提取最高分数对应的角色作为所述待合成文本的所属角色。
4.如权利要求1所述的语音合成方法,其特征在于,所述利用预训练的情感识别模型对所述待合成文本进行情感识别,得到所述待合成文本的情感类型,包括:
对所述待合成文本进行量化,得到文本量化矩阵;
利用所述情感识别模型的卷积层对所述文本量化矩阵进行特征提取,得到特征矩阵集合;
利用所述情感识别模型的池化层及flatten层对所述特征矩阵集合进行降维,得到特征序列;
将所述特征序列导入所述情感识别模型的决策树分类网络中进行分类,得到所述待合成文本的情感类型。
5.如权利要求4所述的语音合成方法,其特征在于,所述对所述待合成文本进行量化,得到文本量化矩阵,包括:
对所述待合成文本进行分词操作,得到词语集合;
利用Word2Vec模型及所述情感识别模型中预配置的位置编码,对所述词语集合进行量化,得到词向量集合;
根据预设的组合策略将所述词向量集合进行拆分,并将拆分结果进行拼接,得到文本量化矩阵。
6.如权利要求1的语音合成方法,其特征在于,所述利用预训练的情感识别模型对所述待合成文本进行情感识别,得到所述待合成文本的情感类型之前,所述方法还包括:
步骤I、将Bert神经网络与决策树分类网络进行连接,得到待训练情感识别模型;
步骤II、利用所述待训练情感识别模型对预构建的语句样本集合进行情绪识别,得到识别结果;
步骤III、利用预设的损失函数计算所述识别结果与所述语句样本集合对应的真实质检结果的损失值;
步骤IV、当所述损失值大于预设的合格参数时,根据Adaboost算法更新所述待训练情感识别模型的模型参数,并返回上述步骤I I;
步骤V、当所述损失值小于或等于所述合格参数时,得到训练完成的情感识别模型。
7.如权利要求1所述的语音合成方法,其特征在于,所述从预构建的语音区块链节点中查询所述所属角色及所述情感类型对应的发音参数之前,所述方法还包括:
获取预构建的多维度的发音参数集合,利用消息摘要算法对所述发音参数集合进行计算,得到字符标签;
利用所述字符标签将所述发音参数集合加密上链至预构建的语音区块链节点中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京大学深圳研究院,未经北京大学深圳研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111272328.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种滤光片辅助检测装置
- 下一篇:智能烹饪设备控制方法及智能烹饪设备