[发明专利]数据处理方法、语音合成模型训练方法及装置在审
申请号: | 202210851638.0 | 申请日: | 2022-07-20 |
公开(公告)号: | CN116129851A | 公开(公告)日: | 2023-05-16 |
发明(设计)人: | 刘鹏飞;蒋宁;吴海英;刘敏 | 申请(专利权)人: | 马上消费金融股份有限公司 |
主分类号: | G10L13/02 | 分类号: | G10L13/02;G10L13/033 |
代理公司: | 北京国昊天诚知识产权代理有限公司 11315 | 代理人: | 姚琳洁 |
地址: | 401121 重庆市渝北区*** | 国省代码: | 重庆;50 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 语音 合成 模型 训练 装置 | ||
1.一种数据处理方法,其特征在于,包括:
对待处理的文本数据进行拆分处理,得到第一音素字符和第一音调字符,所述文本数据包括多个字符;
根据预设的字符和字符标识之间的第一映射关系,确定每个所述第一音素字符对应的音素字符标识,根据所述音素字符标识确定所述第一音素字符对应的音素标识序列;以及确定每个所述第一音调字符对应的音调字符标识,根据所述音调字符标识确定所述第一音调字符对应的音调标识序列;
将所述音素标识序列和所述音调标识序列输入预先训练的语音合成模型中,进行语音合成处理,得到所述文本数据对应的目标语音数据。
2.根据权利要求1所述的方法,其特征在于,所述语音合成模型包括:嵌入层、全连接层、运算层和编码层;
所述将所述音素标识序列和所述音调标识序列输入预先训练的语音合成模型中,进行语音合成处理,得到所述文本数据对应的目标语音数据,包括:
通过所述嵌入层,对所述音素标识序列和所述音调标识序列进行升维处理,得到所述音素标识序列对应的音素特征信息以及所述音调标识序列对应的音调特征信息;
通过所述全连接层,将所述音素特征信息和所述音调特征信息映射至预设向量空间,得到第一维度的音素特征信息以及对应的音调特征信息;
通过所述运算层,将所述第一维度的音素特征信息和所述第一维度的音调特征信息进行合并处理,得到所述文本数据的目标特征信息;
通过所述编码层,对所述目标特征信息进行编码处理,得到所述文本数据对应的目标语音数据。
3.根据权利要求2所述的方法,其特征在于,所述嵌入层包括音素标识序列处理模块和音调标识序列处理模块;所述全连接层包括音素特征信息处理模块和音调特征信息处理模块;
所述通过所述嵌入层,对所述音素标识序列和所述音调标识序列进行升维处理,得到所述音素标识序列对应的音素特征信息以及所述音调标识序列对应的音调特征信息,包括:
通过所述音素标识序列处理模块,对所述音素标识序列进行升维处理,得到所述音素标识序列对应的音素特征信息;通过所述音调标识序列处理模块对所述音调标识序列进行升维处理,得到所述音调标识序列对应的音调特征信息;
所述通过所述全连接层,将所述音素特征信息和所述音调特征信息映射至预设向量空间,得到第一维度的音素特征信息以及对应的音调特征信息,包括:
通过所述音素特征信息处理模块,将所述音素特征信息映射至所述预设向量空间,得到所述第一维度的音素特征信息;通过所述音调特征信息处理模块,将所述音调特征信息映射至所述预设向量空间,得到所述第一维度的音调特征信息。
4.根据权利要求1所述的方法,其特征在于,所述对待处理的文本数据进行拆分处理,得到第一音素字符和第一音调字符,包括:
根据预设的字符和字符类别之间的第二映射关系,将所述文本数据拆分为第二音素字符和第二音调字符,所述字符类别包括音素字符类和音调字符类;
根据每个所述第二音素字符和对应的所述第二音调字符的字符位数,对所述第二音素字符和对应的所述第二音调字符进行对齐处理,得到对齐后的所述第一音素字符和所述第一音调字符。
5.根据权利要求4所述的方法,其特征在于,所述根据每个所述第二音素字符和对应的所述第二音调字符的字符位数,对所述第二音素字符和对应的所述第二音调字符进行对齐处理,包括:
若所述第二音素字符和对应的所述第二音调字符的字符位数不同,则利用预设字符填充目标字符,其中,所述目标字符为所述第二音素字符和对应的所述第二音调字符中字符位数较少的字符。
6.根据权利要求4所述的方法,其特征在于,所述对待处理的文本数据进行拆分处理,得到第一音素字符和第一音调字符,还包括:
在将所述文本数据拆分为所述第二音素字符和所述第二音调字符之后,对所述第二音素字符和所述第二音调字符进行去冗余处理;
其中,所述去冗余处理包括以下至少一项:将相邻的多个停顿音符合并为一个停顿音符、删除指定类字符。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于马上消费金融股份有限公司,未经马上消费金融股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210851638.0/1.html,转载请声明来源钻瓜专利网。