[发明专利]一种基于虚拟偶像的歌曲数据处理方法及演唱交互系统

说明书

本发明公开了一种基于虚拟偶像的歌曲数据处理方法，该方法包括如下步骤：获取多模态数据，从多模态数据中提取演唱歌曲音频，并将演唱歌曲音频转化为歌曲文件以词谱分离操作，生成与该歌曲文件对应的乐谱信息和歌词信息；根据音乐处理模型对乐谱信息和歌词信息进行编辑处理，生成乐谱创作信息和歌词创作信息；基于虚拟偶像的声线，将乐谱创作信息和歌词创作信息进行语音合成，生成目标曲目文件并输出。本申请能够通过移动设备的控制将目标自创作曲目在成像设备上表演，以辅助交互对象进行自行创作及演唱，提升交互对象的创作体验。

技术领域

本发明涉及智能机器人领域，尤其涉及一种基于虚拟偶像的歌曲数据处理方法及演唱交互系统。

背景技术

随着人工智能领域的不断发展，现今对机器人的研究工作已经不仅只针对于工业领域，更跨足娱乐、医疗、保健、家庭、以及服务等领域，使用对象也逐渐扩充。

在娱乐领域中，目前针对虚拟机器人的应用多对于点歌和已有歌曲进行播放，无法按照谱曲及歌词生成相应的歌曲。因此，提出了一种新的机器人的交互能力，辅助用户音乐人进行目标曲目的创作，改善了用户体验。

发明内容

本发明所要解决的技术问题之一是需要提供一种基于虚拟偶像的歌曲数据处理方法，该方法包括如下步骤：扒谱步骤，获取多模态数据，从所述多模态数据中提取演唱歌曲音频，并将所述演唱歌曲音频转化为歌曲文件以词谱分离操作，生成与该歌曲文件对应的乐谱信息和歌词信息；词曲编辑步骤，根据音乐处理模型对所述乐谱信息和所述歌词信息进行编辑处理，生成乐谱创作信息和歌词创作信息；语音合成步骤，基于所述虚拟偶像的声线，将所述乐谱创作信息和所述歌词创作信息进行语音合成，生成目标曲目文件并输出。

在一个实施例中，在所述词曲编辑步骤中，进一步包括，基于所述乐谱信息，判断当前歌曲风格；调取与该风格匹配的的音乐处理模型；根据与该风格匹配的音乐处理模型对所述乐谱信息和所述歌词信息进行编辑，以生成乐谱创作信息和歌词创作信息。

在一个实施例中，所述歌词创作信息包括歌词片段数据，其中，所述歌词片段数据配置有歌词片段编码、歌词片段起止时程、韵母/声母标识、声调编码、断句标识和韵母/声母数据；所述乐谱创作信息包括乐谱片段数据，其中，所述乐谱片段数据配置有乐谱片段编码、乐谱片段起止时程、音调片段数据和小节标识。

在一个实施例中，在所述扒谱步骤中，进一步包括：将获取到的所述演唱歌曲音频进行歌声分离，去除背景声音数据，保留人声清唱数据；进一步分解所述人声清唱数据，编辑整理生成所述乐谱信息和所述歌词信息。

在一个实施例中，在所述语音合成步骤中，进一步包括，基于当前歌曲风格，确定与所述歌曲风格匹配的声线；将所述歌词创作信息、所述乐谱创作信息、与所述歌曲风格匹配的声线以及所述背景声音数据代入预设的语音合成系统中，生成目标曲目文件。

在一个实施例中，所述音乐处理模型通过基于字词拼音库、歌曲音符和作词作曲数据库进行训练，并结合多类作词作曲习惯特征数据库构建而成。

根据本发明实施例的另一方面，还提供了一种基于虚拟偶像的歌曲数据处理系统，该系统包括如下模块：扒谱模块，其获取多模态数据，从所述多模态数据中提取演唱歌曲音频，并将所述演唱歌曲音频转化为歌曲文件以词谱分离操作，生成与该歌曲文件对应的乐谱信息和歌词信息；词曲编辑模块，其根据音乐处理模型对所述乐谱信息和所述歌词信息进行编辑处理，生成乐谱创作信息和歌词创作信息；语音合成模块，其基于与所述虚拟偶像的声线，将所述乐谱创作信息和所述歌词创作信息进行语音合成，生成目标曲目文件并输出。

在一个实施例中，在所述词曲编辑模块中，进一步包括，歌曲风格识别单元，其基于所述乐谱信息，判断当前歌曲风格并生成相应信息；创作模型选取单元，其调取与该风格匹配的的音乐处理模型；编辑单元，其根据与该风格匹配的音乐处理模型对所述乐谱信息和所述歌词信息进行编辑，以生成乐谱创作信息和歌词创作信息。