[发明专利]一种基于嵌入式系统的端到端语音合成网络

权利要求书

1.一种基于嵌入式系统的端到端语音合成网络，其特征在于，该端到端语音合成网络将文字文件转换到语音文件，步骤如下：

首先，对现有的Waveglow声码器模型进行结构化稀疏化处理，在WaveGlow声码器模型中，将WN模型的扩展卷积部分和膨胀卷积部分用CNN进行替换；其次，去掉WN模型中多余的残差连接和跳跃连接，结构化稀疏化处理后的模型称为Fast Waveglow模型；

然后，对端到端语音合成网络的编码端Fastspeech模型前馈一个韵律编码器，得到新的Rhythm Fastspeech网络；其中，韵律编码器由Prenet模块和CBHG模块组成；Prenet模块由两层全连接层组成，CBHG模块输出一个隐藏状态序列；基于该编码端Fastspeech模型构建编解码前端网络，以文字作为输入，输出梅尔谱图；

最后，将新的Rhythm Fastspeech网络和经过稀疏化处理后的Fast Waveg-low模型合并为一个单一的网络，同时进行训练，即end-to-end方法；之后，将训练好的权重模型取出，在NPU嵌入式平台上面移植模型；首先，先将训练好的权重模型提取出来，将该权重模型转换成ONNX模型，然后再将ONNX模型转成RKNN形式；在模型推理的过程中，对于不支持的算子用softmax函数进行替换；其次，将模型封装到推理函数中，最后在嵌入式平台上移植推理函数，运行推理函数，得到最终的输出结果。