[发明专利]一种基于歌词歌声对齐的唱歌评分方法

说明书

本发明公开的一种基于歌词歌声对齐的唱歌评分方法，包含以下顺序的步骤：歌曲录制；歌声伴奏分离、噪声去除；提取基音频率以及振幅；以句子为单位，歌词与歌声对齐；分割对齐后的歌声中每个字的基音频率；计算基音频率相似性得分；根据用户歌声以及标准歌声的每一句时长以及每个字的起始结束时间计算节奏得分；归一化用户歌声和标准歌声的振幅；计算振幅相似性得分；对基音频率得分、节奏得分、振幅得分乘以权值系数并相加，计算歌曲的综合得分。本发明的唱歌评分方法，减少了伴奏以及噪声对歌声评价的影响；合理利用歌词的标签信息，使得评价用户的基音频率以及节奏更为准确；多方面评价用户歌曲，让歌曲评分结果更加客观全面。

技术领域

本发明涉及语音信号处理技术领域，特别涉及一种基于歌词歌声对齐的唱歌评分方法。

背景技术

随着互联网以及科技的发展，现代人线下线上唱歌娱乐需求越来越大，而且用户对于唱歌能力排名也越来越看重，因此提出一种精确、全面的唱歌评分方法是十分有必要的。目前工业界中唱歌评分方法有直接将当前一句待评分的录制音频进行平移n个偏移时长，以搜索出一个可以将录制音频与标准音频在时间上有较好的对应关系，进而提高歌曲的演唱得分。但是这种方法每次需要搜索n次才能比较出一个最佳的得分，而且精确度不够高。因此有研究者提出了一种基于动态时间规整的唱歌评分方法，该方法采集了待评分音频数据以及基准音频数据，并生成对应的基音频率向量；然后利用动态时间规整计算路径距离，确定待评分音频数据的音准得分，利用对齐度确定待评分音频数据的节奏得分，最后根据音准得分及节奏得分确定所述待评分音频数据的评分。但是该方法动态时间规整出来的路径可能会扭曲带评分以及基准基音频率轨迹的对应关系，而且该方法只是考虑了音频以及节奏两个方面，从唱歌技巧上来评价用户歌曲，没有考虑情感方面。而学术界上唱歌评分方法比工业界的要先进一些，但是同时也较为复杂。早期的唱歌评分方法主要是为特征匹配的方法，其主要思想是提取一些歌曲的声乐特征，利用动态时间规整(DynamicTimeWarping，DTW)来计算这些用户歌曲的声乐特征以及标准歌曲的声乐特征的相似性距离。如吴国章提取了基音频率、梅尔倒频谱系数(MFCC)以及声音强度三个特征，利用了DTW算法计算这些特征的相似性，进而得出歌曲评分；ChangHung Lin等人则是基于DTW算法从RMS能量、音调、谱中心、频谱平坦度以及拓展频谱这些特征来评价歌曲。但是这些方法没有很好考虑歌曲节奏以及情感方面，因此WeiHo Tsai等在前人的基础上进行了改进，利用DTW算法计算一些声乐特征的相似性的同时，还建立了一个隐马尔可夫模型(HMM)来判断待评分歌曲是节奏是否正确。但是该节奏评价方法需要对每一首歌曲建立一个独立对应的HMM来识别节奏是否正确，训练成本高，在实际应用上具有很大的局限性；PeiPei Chen等提取了歌曲中5个与歌手唱歌热情相关的特征，利用大量数据训练了一个支撑向量回归模型，用于预测歌手唱歌热情；Florian Eyben等则是利用歌声中205个特征，在Arousal-Valence空间中划分情感标志词，然后训练一个支撑向量机在该空间中对歌曲中情感进行分析。NingZhang等利用大量含情感标签的歌曲数据，构建了一个双密集连接卷积神经网络二分类模型，实现了端到端地评价用户歌曲的好坏。虽然学术界对于唱歌评分技术有较为深入的研究，但是这些方法都需要大量的数据以及训练时间，而且尽管有了对歌曲情感分析有一定研究，但是其识别准确率较低、识别的情感类别较为单一，在实际应用上难以实现。

唱歌评分技术在最近十几年来虽然有一定的发展，但是学术界的方法大都比较复杂，具有一定的局限性，难以直接运用到实际生活当中；因此在工业界上依然使用着较为简单的评分方法，导致对歌曲的评分能力不足。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于歌词歌声对齐的唱歌评分方法。本发明通过利用歌词标签信息以及自动声音识别技术对齐分离伴奏及噪声的用户歌曲音频，并使用对齐后用户音频与标准音频进行对比，计算用户音频节奏得分、基音频率得分以及振幅得分，最后根据这三种得分确定最终的综合得分，从而减弱了伴奏以及噪声对歌声评价的影响，更加精确地评价用户歌曲。

本发明的目的通过以下的技术方案实现：