[发明专利]一种基于分布式自然韵律优化本地合成方法

说明书

技术领域

本发明涉及一种基于分布式自然韵律优化本地合成方法，属于语音合成应用领域，主要应用于手机等电子产品的合成系统中，提升语音合成的韵律表现，降低网络流量。

背景技术

随着信息化的发展，语音合成应用越来越多，但语音合成的效果也受到一些硬件条件的限制，导致更好的合成效果无法再应用产品上体现，如硬件设备空间有限、网络环境不稳定、用户流量限制等。增加训练库的大小，可以提升合成语音效果，但存储资源会增加，放到终端设备上比较困难，如果使用网络云调用的方式，在网络环境不好的情况下，合成响应比较慢，同时下载语音数据，会造成用户流量比较大。也可以使用分布式的方式，解决流量问题，即合成文本分析前端在服务器运行，合成后端在本地，同时减少了流量、也减少了本地资源大小，但后端效果完全依赖于本地资源。

发明内容

本发明技术解决问题：克服现有技术的硬件设备空间有限、网络环境不稳定以及用户流量限制等不足，提供一种基于分布式自然韵律优化本地合成方法，具有节省码流率、提升合成语音韵律效果的优点。

本发明技术解决方案：一种基于分布式自然韵律优化本地合成方法，包括：合成文本前端信息和语音韵律信息提取、低码率网络传输、及本地合成器解析与合成三个步骤；

第一步，利用录音数据或服务器合成器获得文本韵律信息和合成语音的部分参数信息，并进行编码，用于网络传输；所述参数信息包含基频，时长和频谱信息，其中基频和时长信息在网络端生成；具体实现如下：

（1）如果没有录音数据，则文本输入到服务器合成系统，文本前端信息和基频、时长信息均能够利用服务器合成系统生成，由于服务器端相对于终端设备有更多的运算和存储空间，服务器端能够配置最好的语音合成系统，从而获得更准确的前端和基频、时长信息；

（2）如果是已有的录音数据，则分为以下三步进行提取：

（2.1）合成文本前端信息根据录音数据获取，先生成相应的韵律文本，再转换为语音对应的标注文本；

（2.2）时长信息通过发音人已有的合成模型进行状态时长切分，时长信息为音素的状态时长，每个音素包含5个状态，时长信息提前生成，不用等到待合成时再生成；

基频信息利用STRAIGHT工具生成，或者使用人工标注的基频，之后按照音素对应的状态为单位，进行基频静态参数均值和一阶动态参数均值的计算。计算以帧为单位，5ms一帧，其中基频静态参数为当前帧F0的对数值，即lf0，一阶动态参数为后一帧的lf0减去前一帧的lf0，差值除以2，基频静态参数均值是对一个状态下所有浊音帧对应基频静态参数总和的平均，一阶动态参数均值是对一个状态下所有浊音帧对应基频一阶动态参数总和的平均；

（2.3）将提取得到的合成文本前端信息输出到文本文件中，而基频、时长信息整合到二进制文件中用于网络传输；

第二步，低码率网络传输

将第一步生成的合成文本前端信息的文本文件和基频、时长的二进制文件通过网络方式传输到终端设备上，如手机、车载设备等；

第三步，终端设备接收到网络数据后，利用本地合成器解析与合成，具体步骤为：

（3.1）本地合成器接收到合成文本前端信息进行文本解析后，采用传统参数生成方法，由本地合成模型决策得到文本对应的频谱信息；

（3.2）由网络传输得到二进制文件，解码后得到相应的状态时长与基频均值数据，根据MLPG（Maximum Likelihood Parameter Generation）算法生成基频数值，结合上述生成的频谱参数，利用本地参数合成器完成合成，输出合成语音数据。

步骤三（3.2）是在解码得到相应的状态时长数据后，对原合成模型决策所得的状态时长进行替换，使得本地合成的语音在时长分布上与自然语音保持一致。

步骤三（3.2）所述的MLPG算法即为，在基频参数生成中，使用解码后的基频均值数据对原合成模型决策所得的基频均值进行替换，之后基于状态进行解参，得到每一帧对应的基频数值，最后使用替换后的时长、MLPG算法得到的基频结合本地频谱进行参数合成，

MLPG算法计算公式如下：