[发明专利]一种基于简谱识别和基频提取的人声旋律提取方法及系统

说明书

本发明公开了一种基于简谱识别和基频提取的人声旋律提取方法及系统，系统应用该方法，方法包括：将待处理歌曲对应的简谱文件进行二值化处理，将歌曲原始音频文件处理为降采样后的单声道音频，从单声道音频中分离出人声波形；识别简谱中的音符与歌词对，得到歌词与音符的列表；根据唱词文件，检索歌词与音符的列表，得到行唱词与音符的匹配结果序列；选择一个音符，根据分离得到的人声波形计算音符的基频频率，根据计算得到的基频频率及各音符的相对关系，计算各音符的频率，并将各音符的频率转换为midi音高；平移行歌词与音符的匹配结果序列，得到音高与各音符的midi音高相匹配的行歌词与音符的匹配结果序列。能够提取音高与旋律匹配的人声旋律。

技术领域

本发明属于音频处理技术领域，具体地说，涉及一种基于简谱识别和基频提取的人声旋律提取方法及系统。

背景技术

随着计算机技术的发展，音乐的主要传播途径由原来的基于磁带、CD等载体，转变成基于数字音乐的网络下载和点击。为了适应这种传播方式的改变，音乐的识别和检索技术也应用的越来越广。在音乐信息检索中，主要使用的是音乐的主旋律，音乐的主旋律可以用于进行音乐分析、音乐检索、音乐辨识、相似音乐推荐等。

申请号为201810537265.3的发明专利公开了一种提取音频数据中主旋律音轨的方法、装置、终端及存储介质，该方法包括：提取目标音频数据中的多个音轨，确定每个音轨中的人声时间段的时间段信息，得到每个音轨对应的时间段信息集合；在目标音频数据对应的歌词信息中，确定每句歌词的时间段信息，得到歌词信息对应的时间段信息集合；确定每个音轨对应的时间段信息集合与歌词信息对应的时间段信息集合的匹配度；将对应的匹配度最高的音轨，确定为目标音频数据的主旋律音轨。本申请解决了目前的音轨逐一排除方法不适用于编曲风格小众另类的音频，易将音频中非主旋律音轨确定为该音频的主旋律的问题，达到了提高识别音频中的主旋律音轨的普适性和准确性的效果。

该方法的目标是从多个音轨中提取出主旋律音轨，而不能够从主旋律音轨中提取出旋律，同时该方法对于包含分轨信息的歌词信息很难获得。无法得到匹配的唱词和音高。

发明内容

针对现有技术中上述的不足，本发明提供一种基于简谱识别和基频提取的人声旋律提取方法及系统，该方法结合简谱识别与波形识别，从而能够更准确的获取主旋律数据，简谱识别能够获取准确的音高，基频识别得到的频率与唱词能够对应的上。系统采用该方法，能够提取音高与旋律匹配的人声旋律。

为了达到上述目的，本发明采用的解决方案是：一种基于简谱识别和基频提取的人声旋律提取方法，包括如下步骤：

S1：数据预处理，将待处理歌曲对应的简谱文件进行二值化处理，将歌曲原始音频文件处理为降采样后的单声道音频，从降采样后的单声道音频中分离出人声波形；具体包括：

S101：将歌曲原始音频文件解码为wave格式，并归一化至-1～1；

S102：将wave格式的音频通过平均得到单声道的音频；

S103：将单声道音频降采样至8000～44100之间，最佳的降采样频率为20050；

S104：将歌曲对应的简谱文件做二值化处理；

S105：从降采样后的单声道音频中分离出人声波形；

S106：根据歌词文件将人声波形按句分割成多个波形文件。一句歌词对应一个波形文件，便于后续基频提取过程中提取出的基频与歌词句子对应。

S2：简谱识别，识别简谱中的音符与歌词对，得到歌词与对应音符的列表，所述的简谱识别采用OCR api或者开源OCR。

S3：唱词与简谱识别结果对齐，根据唱词文件，检索歌词与音符的列表，得到行唱词与音符的匹配结果序列；具体包括：

S301：解析唱词文件，按句获得唱词文件中的所有唱词序列；