[发明专利]音频校正设备及其音频校正方法

说明书

技术领域

本公开涉及一种音频校正设备及其音频校正方法，更具体地，涉及一种检测音频数据的起音(onset)信息和音高(pitch)信息并根据参考音频数据的起音信息和音高信息对音频数据进行校正的音频校正设备及其音频校正方法。

背景技术

存在根据乐谱对由唱歌糟糕的普通人所唱的歌曲进行校正的技术。具体地，存在根据用于对歌曲进行校正的乐谱的音高对人所唱的歌曲的音高进行校正的现有技术的方法。

然而，人所唱的歌曲或当弦乐器被演奏时产生的声音包括音符彼此连接的轻起音(soft onset)。也就是说，在人所唱的歌曲或当弦乐器被演奏时产生的声音的情况下，当仅对音高进行校正而不搜索作为每个音符的开始点的起音时，会存在音符在歌曲或演奏的中间丢失或者音高从错误的音符被校正的问题。

发明内容

技术目标

本公开已被开发以解决上述问题，并且本公开的目标在于提供一种检测音频数据的起音和音高并根据参考音频数据的起音和音高对音频数据进行校正的音频校正设备和音频校正方法。

技术方案

根据用于解决上述问题的本公开的示例性实施例，一种音频校正方法包括：接收音频数据的输入；通过分析音频数据的谐波分量来检测起音信息；基于检测到的起音信息来检测音频数据的音高信息；基于检测到的起音信息和音高信息将音频数据与参考音频数据进行比较并将音频数据与参考音频数据对齐；将与参考音频数据对齐的音频数据校正为与参考音频数据匹配。

检测起音信息的步骤可包括：通过针对音频数据执行倒谱分析并对经过倒谱分析的音频数据的谐波分量进行分析来检测起音信息。

检测起音信息的步骤可包括：针对音频数据执行倒谱分析；使用先前帧的音高分量来选择当前帧的谐波分量；使用当前帧的谐波分量和先前帧的谐波分量来针对多个谐波分量计算倒谱系数；通过计算所述多个谐波分量的倒谱系数的总和来产生检测函数；通过检测检测函数的波峰来提取起音候选组；通过从起音候选组移除多个邻近起音来检测起音信息。

计算步骤可包括：响应于存在先前帧的谐波分量，计算高倒谱系数，响应于不存在先前帧的谐波分量，计算低倒谱系数。

检测音高信息的步骤可包括：使用相关熵音高检测方法来检测在检测到的起音分量之间的音高信息。

对齐步骤可包括：使用动态时间规整方法将音频数据与参考音频数据进行比较并将音频数据与参考音频数据对齐。

对齐步骤可包括：计算音频数据对于参考音频数据的起音校正率和音高校正率。

校正步骤可包括：根据计算出的起音校正率和音高校正率对音频数据进行校正。

校正步骤可包括：通过使用SOLA算法保持音频数据的共振峰不变来对音频数据进行校正。

根据用于解决上述问题的本公开的示例性实施例，一种音频校正设备可包括：输入器，被配置用于接收音频数据的输入；起音检测器，被配置用于通过分析音频数据的谐波分量来检测起音信息；音高检测器，被配置用于基于检测到的起音信息来检测音频数据的音高信息；对齐器，被配置用于基于检测到的起音信息和音高信息将音频数据与参考音频数据进行比较并将音频数据与参考音频数据对齐；校正器，被配置用于将与参考音频数据对齐的音频数据校正为与参考音频数据匹配。

起音检测器可通过针对音频数据执行倒谱分析并对经过倒谱分析的音频数据的谐波分量进行分析来检测起音信息。

起音检测器可包括：倒谱分析器，用于针对音频数据执行倒谱分析；选择器，用于使用先前帧的音高分量来选择当前帧的谐波分量；系数计算器，用于使用当前帧的谐波分量和先前帧的谐波分量来针对多个谐波分量计算倒谱系数；函数产生器，用于通过计算所述多个谐波分量的倒谱系数的总和来产生检测函数；起音候选组提取器，用于通过检测检测函数的波峰来提取起音候选组；起音信息检测器，用于通过从起音候选组移除多个邻近起音来检测起音信息。

响应于存在先前帧的谐波分量，系数计算器可计算高倒谱系数，响应于不存在先前帧的谐波分量，系数计算器可计算低倒谱系数。

音高检测器可使用相关熵音高检测方法来检测在检测到的起音分量之间的音高信息。

对齐器可使用动态时间规整方法将音频数据与参考音频数据进行比较并将音频数据与参考音频数据对齐。

对齐器可计算音频数据对于参考音频数据的起音校正率和音高校正率。

校正器可根据计算出的起音校正率和音高校正率对音频数据进行校正。

校正器可通过使用SOLA算法保持音频数据的共振峰不变来对音频数据进行校正。