[发明专利]乐谱跟随路径的确定方法、装置、电子设备及存储介质

权利要求书

1.一种乐谱跟随路径的确定方法，其特征在于，包括：

获取当前正在演奏的演奏音频及对应的乐谱音频；

确定所述演奏音频的音符起始点，根据所述音符起始点及恒Q变换确定演奏音频特征向量；

获取所述乐谱音频的泛音列分布，按照预设规则确定乐谱音频的泛音列向量；

根据所述演奏音频特征向量及所述乐谱音频的泛音列向量确定演奏音频与乐谱音频之间的相似度矩阵；

根据所述相似度矩阵确定所述演奏音频对所述乐谱音频的跟随路径。

2.根据权利要求1所述的乐谱跟随路径的确定方法，其特征在于，所述确定所述演奏音频的音符起始点的步骤，包括：

根据预设处理时长切分所述演奏音频得到多个音频片段，相邻所述音频片段存在时间上的重叠；

基于相邻音频片段的重叠时间形成目标窗口；

利用神经网络确定所述目标窗口中音符起始点的触发概率，根据所述触发概率确定音符起始点。

3.根据权利要求1所述的乐谱跟随路径的确定方法，其特征在于，所述根据演奏音频的音符起始点及恒Q变换确定演奏音频特征向量的步骤，包括：

利用恒Q变换分别获得所述音符起始点的前一音符的特征向量及所述音符起始点的后一音符的特征向量；

根据所述前一音符的特征向量及后一音符的特征向量确定两个音符的特征向量差值；

基于所述特征向量差值及预设音符比对函数确定演奏音频特征向量。

4.根据权利要求3所述的乐谱跟随路径的确定方法，其特征在于，所述利用恒Q变换分别获得所述音符起始点的前一音符的特征向量及所述音符起始点的后一音符的特征向量的步骤，包括：

针对任一时间帧中时域信号及其窗函数进行恒Q变换，依次获得该时间帧中所有半音频率分量；

保留所述半音频率分量在频率方向上的局部最大值，所述局部最大值的保留数量根据所述演奏音频同时击发的和弦数量确定；

根据所述保留数量的局部最大值确定音符起始点的前一音符的特征向量及后一音符的特征向量。

5.根据权利要求1所述的乐谱跟随路径的确定方法，其特征在于，根据所述演奏音频特征向量及所述乐谱音频的泛音列向量确定演奏音频与乐谱音频之间的相似度矩阵的步骤，包括：

计算所述演奏音频特征向量与按照预设规则确定的多个所述泛音列向量的皮尔逊相关系数；

针对每个音符起始点获得最大皮尔逊相关系数，获得由多个音符起始点的最大皮尔逊相关系数组成的相似度矩阵。

6.根据权利要求1所述的乐谱跟随路径的确定方法，其特征在于，所述根据所述相似度矩阵确定所述演奏音频对所述乐谱音频的跟随路径之后，还包括：

检测到所述演奏音频中的异常点；

获得演奏音频中与乐谱音频连续匹配成功的音符构成的最长音符序列；

对所述最长音符序列进行最小二乘法估计，获得所述异常点导致的音符偏移量，利用所述音符偏移量调整所述跟随路径。

7.根据权利要求1所述的乐谱跟随路径的确定方法，其特征在于，所述根据所述相似度矩阵确定所述演奏音频对所述乐谱音频的跟随路径之后，还包括：

获取演奏音频中当前音频序列的上一个成功匹配的音符序列；

基于所述相似度矩阵获得最大相似度对应的预测音符序列；

将所述预测音符序列与所述上一个成功匹配的音符序列的前、后音符序列进行比对；

根据比对结果调整所述跟随路径。