[发明专利]一种基于嵌入式系统的端到端语音合成网络

说明书

本发明属于嵌入式计算机技术领域，提供一种基于嵌入式系统的端到端语音合成网络，文字通过编解码，生成梅尔谱图，然后将图片通过声码器转换成语音文件。同时，在保证语音质量没有显著衰减的情况下，提高推理速度，做到实时，最后部署在嵌入式平台上面。采用该端到端网络，使用最新神经网络的方法，在减少参数和模型计算量的情况下，能够将推理速度大幅提高，并且通过前馈一个韵律编码器，达到韵律可调的作用。将文字通过前端编解码部分，生成梅尔谱图，之后通过声码器转为语音文件。即端到端的方法。该方法能够高效实时的合成音频，从而部署在地铁嵌入式平台上面。

技术领域

本发明属于嵌入式计算机技术领域，涉及一种基于嵌入式系统的端到端模型语音合成声码器。

背景技术

随着与机器的语音交互越来越多，语音合成技术在现实中的应用越来越多，像AI合成主播，以及地铁广播等。但是，语音的合成质量或微小的变化都会对客户体验和客户的喜好产生很大的影响。因此，高质量的实时语音合成仍然是一个具有挑战性的任务。

目前，先进的语音合成模型有统计参数神经网络语音合成模型与端到端语音合成模型。文本到语音的合成通常分为两个部分。第一步是将文本转换为时间对齐的特征，比如mel-光谱图。第二个模型是将这些时间对齐的特征转换为音频样本。第二种模型，有时称为声码器，主要影响质量，并决定速度。现在的语音合成多是在云端实现，但是，语音合成也迫切需要在离线端实现。

语音合成技术主要由编解码和声码器部分组成，编解码有fastspeech,tacotron等模型，声码器主要有wavernn,wavenet，waveglow模型。编解码的韵律调节方法有vae，gst等方法。提高声码器的推理速度，主要有稀疏化等方法。

本专利所述端到端语音合成网络能够将文本信息通过编解码结构后，再通过声码器实时地合成音频，从而易于布置在地铁嵌入式平台上，使地铁紧急广播成为可能。

中国发明专利申请，公开号CN1924994A，公开了一种嵌入式语音合成方法及系统，将系统接收到的或输入的文字转换成语音输出。首先创建基于声韵母的语音库，然后基于声韵母样本的上下文属性以及声学特征，对语音库进行压缩，得到最终语音库。但是该发明需要建立声韵母的语音库，比较繁琐。

中国发明专利申请，公开号NCMMSC2007，公开了一种实用的嵌入式语音合成方法，在该方法中，将TTS系统的后端处理分为两个阶段：参数拼接和波形合成，并分别由MCU和DSP来承担。在此基础上，提出了一种新的拼接方法。但是，该发明所采用的拼接法很难获得较高的质量，相比目前广泛应用的神经网络方法，而且在推理的速度方面也没有做到实时。

发明内容

本发明的主要目的是提供一种并行的语音合成网络。文字通过编解码，生成梅尔谱图，然后将图片通过声码器转换成语音文件。同时，在保证语音质量没有显著衰减的情况下，提高推理速度，做到实时，最后部署在嵌入式平台上面。

本发明的技术方案：

一种基于嵌入式系统的端到端语音合成网络，该端到端语音合成网络将文字文件转换到语音文件，步骤如下：

首先，对端到端语音合成网络的编码端Fastspeech模型前馈一个韵律编码器，得到新的Rhythm Fastspeech网络；其中，韵律编码器由Prenet模块和CBHG模块组成；Prenet模块由两层全连接层组成，CBHG模块输出一个隐藏状态序列；将输入频谱图中每个音素和韵律符合转为连续向量，通过Prenet模块传递。通过两个独立的全连接层和RELU激活函数来生成潜在变量。然后通过CBHG模块，输出一段隐藏状态序列，将序列转换为固定长度的上下文向量，提取更高级别特征，最后通过线性层输出。基于该编码端Fastspeech模型构建编解码前端网络，以文字作为输入，输出梅尔谱图；