[发明专利]一种基于生成对抗网络的虚拟人声视唱方法和系统

说明书

本发明提供了一种基于生成对抗网络的虚拟人声视唱方法和系统，所述方法包括：步骤一、输入abc记谱法文件和用Vocaloid制作的人声唱谱音频；步骤二、将abc文件转化为自定义格式的文本文件，将自定义文本文件和人声音频作为Tacotron‑2神经网络模型的输入；步骤三、在Tacotron‑2神经网络中，输入的文本文件中的字符通过512维的字符嵌入Character Embedding表示；步骤四、完成了虚拟人声波形文件的合成；步骤五、得到一段完整的虚拟人声视唱音乐。本发明用虚拟人声演唱乐谱，输出的语音节奏流畅自然，从而使得听者在聆听信息时会感觉自然，而不会感到设备的语音输出带有机械感与生涩感。

技术领域

本发明属于计算机领域，具体地，涉及一种基于生成对抗网络的虚拟人声视唱方法和系统。

背景技术

学习音乐时，看谱并唱出是学习音乐的基础，称为“视唱”。视唱练耳特别重要，然而问题是视唱练耳的课外活动需要大量练习才能达到学习效果。显然，对于绝大多数的普通家庭，教师是无法陪伴学生全天候完成练习。因为学习与练习有着分不开的联系，练习对于唱歌和听力至关重要，所以，可以得知传统的听力训练中的听力训练课程存在一些缺陷，需要对其做出一些改进。“真人唱谱，逼真易学。”虚拟人声视唱乐谱相当于真人唱谱，弥补了诸如钢琴、电子琴等乐器音色与人声不同的短板，大大提高了识谱速度和唱谱能力。当前的音乐相关应用软件发展很快，新增了各种乐器的音色，也可以根据乐谱自动播放，但是没有在音色中加入人声。

传统的模拟人声演唱方法部分或全部采用拼接等方式，比如将每个唱名按时间长度和节拍简单拼接，这类方法虽然操作简单，但是结果生硬，与真人演唱差别较大，效果并不十分理想。如何用真实人声演唱乐谱是一个需要解决的问题。

发明内容

本发明提供了一种基于生成对抗网络的虚拟人声视唱方法和系统，能用虚拟人声演唱乐谱，输出的语音节奏流畅自然，从而使得听者在聆听信息时会感觉自然，而不会感到设备的语音输出带有机械感与生涩感。

为了解决上述问题，本发明提供一种基于生成对抗网络的虚拟人声视唱方法，所述方法包括：

步骤一、输入abc记谱法文件和用Vocaloid制作的人声唱谱音频，人声唱谱音频与abc文件相对应；

步骤二、将abc文件转化为自定义格式的文本文件，将自定义文本文件和人声音频作为Tacotron-2神经网络模型的输入；

步骤三、在Tacotron-2神经网络中，输入的文本文件中的字符通过512维的字符嵌入Character Embedding表示，而后通过3个卷积层，卷积层的输出再传递到一个双向LSTM层中，同时，使用位置敏感注意力Location Sensitive Attention使得模型在输入的过程中始终向前移动，Tacotron-2神经网络生成的模型即梅尔频谱将作为MelGAN模型的输入；

步骤四、将Tacotron-2神经网络训练好的模型和原始人声音频文件作为MelGAN生成对抗神经网络模型的输入，通过生成器和鉴别器，最终将会得到特征图Feature Map以及合成的人声唱谱音频文件，完成了虚拟人声波形文件的合成；

步骤五、根据场景将相应的音频片段粘合拼接起来，最终将得到一段完整的虚拟人声视唱音乐。

第二方面，本申请实施例提供了一种基于生成对抗网络的虚拟人声视唱系统，所述系统包括：

输入模块，用于输入abc记谱法文件和用Vocaloid制作的人声唱谱音频，人声唱谱音频与abc文件相对应；

转换模块，用于将abc文件转化为自定义格式的文本文件，将自定义文本文件和人声音频作为Tacotron-2神经网络模型的输入；