[发明专利]一种音符起始点检测方法及系统

说明书

本发明公开了一种音符起始点检测方法及系统，方法包括：获取待检测的原始音频进行短时傅里叶变换，得到音频时谱图；依次取音频时谱图中的一帧作为当前帧，将当前帧以及当前帧的前p帧和后q帧组合为一条特征数据，得到多条特征数据；对多条特征数据的均值向量和标准差向量进行基于极值筛选的包络平滑，并利用平滑后的均值向量和标准差向量对每条特征数据中的每一帧进行标准化处理；将标准化处理后的每条特征数据依次输入卷积神经网络中，得到卷积神经网络输出的针对每条特征数据是否为音符起始点的预测结果，根据预测结果标注待检测的原始音频中的音符起始点。本发明旨在解决现有技术中音符起始点检测准确率不高，且存在民乐检测空白的问题。

技术领域

本发明属于音频信号处理技术领域，特别涉及一种音符起始点检测方法及系统。

背景技术

音符起始点是音乐特征信息中最基础的特征，指的是音乐中某一音符开始的时间。如图1所示，一个音符时间域信息中起始(Attack)阶段能量突然上升，一段过渡期(Transient)后能量逐渐下降(Decay)，其中起始(Attack)阶段的起始点(Onset)即为音符起始点。音符起始点检测在信号处理领域有很多应用方向和重要用途，如：对音乐进行节拍划分、节奏检测、音高估计等。

目前现有的起始点检测方法大多通过提取音频信号在时域或频域上的特征来检测音符起始点，如幅度谱、相位谱、波形包络等。这些方法准确性不高，易受噪声干扰，对不同类型的音频的泛化性较弱。且在现有大多数关于音乐音符起始点检测的研究中多数均以西洋乐器为研究对象，针对中国民乐的研究少之又少。而西洋乐器的起始点特征与民乐乐器的起始点特征差异较大，其算法难以直接运用至民乐的起始点检测任务上。

现有技术如申请号为CN201910151671.0(2019.02.28)的专利，公开了使用幅度谱和相位谱作为音频信号特征，通过对二者进行综合加权，得到音频信号频谱曲线参数；由此确定曲线局部最高点，根据局部最高点确定音频的起始点位置。该方案将相位谱作为特征选取依据之一，因此算法容易受到相位畸变或噪声成分的干扰，进而产生误检。

现有技术又如申请号为CN201310557751.9(2013.11.11)的专利，公开了对实时跟踪的音乐信号进行离散采样，根据采样序列获取信号波形包络的有效峰值点，并选择其中具有最大幅度的多个有效峰值点作为起始点。该方法采用幅度包络作为特征，受时域噪声影响较大，一般在打击乐等能量特征明显的音乐中检测效率较高，对能量变化特征不明显的起始点(软起始点)的检测可靠性较弱。

发明内容

本申请的目的是提供一种音符起始点检测方法及系统，旨在解决现有技术中音符起始点检测准确率不高，且存在民乐检测空白的问题。

为了实现上述目的，本申请技术方案如下：

一种音符起始点检测方法，应用于基于内容的音乐特征识别，所述音符起始点检测方法，包括：

获取待检测的原始音频，对所述原始音频进行短时傅里叶变换，得到音频时谱图；

依次取所述音频时谱图中的一帧作为当前帧，将当前帧以及当前帧的前p帧和后q帧组合为一条特征数据，得到多条特征数据；

对多条特征数据的均值向量和标准差向量进行基于极值筛选的包络平滑，并利用平滑后的均值向量和标准差向量对每条特征数据中的每一帧进行标准化处理；

将标准化处理后的每条特征数据依次输入预训练的卷积神经网络中，得到卷积神经网络输出的针对每条特征数据是否为音符起始点的预测结果，根据所述预测结果标注待检测的原始音频中的音符起始点；

其中，所述均值向量和标准差向量，计算过程包括：

令音频时谱图为X＝{x₁,x₂,...,x_N}∈R^N*M，其中，N为音频时谱图的长度，即共有N帧，M表示M维向量；