[发明专利]人声哼唱精确识别算法及数字记谱方法

说明书

本发明公布了一种以相对振幅为依据的直接提取基频方法，建立了频率矩阵和节拍矩阵，实现了有效哼唱音符音长区域切分；发明了一种可变识别区域的精确识别迭代算法，通过引入频率变化率和变化阻尼判定方法，显著减少整个哼唱音频的迭代次数。对人声哼唱录音的WAV格式音频文件，经过对基频的获取计算、音符音长识别区域切分、可变区域精确识别、国际音高换算四个环节，最后形成数字乐谱输出。该方法可利用普通智能手机和电脑实现对普通人声哼唱的精确识别并输出相应的数字曲谱，具有简洁、高效、精准、易推广的特色优势。

技术领域

本发明属于信号处理系统和软件算法领域，涉及对声音信号的提取，数字音乐旋律的表示方法。通过对哼唱声音进行采样，精确识别频率变化，准确判断音符音高音长，进而输出数字乐谱。

背景技术

音乐是构建人类文明、传承文化、表达思想情感的艺术和重要途径，人类社会发展离不开音乐。随着网络的发展，数字音乐用户逐渐普及。仅2015年，中国数字音乐市场规模就达近500亿，音乐创作步入了数字时代。在音乐创作中，通过哼唱形成曲谱是音乐创作过程中必不可少的重要过程与方法。哼唱曲调人工写作曲谱难度大，一般只有专业音乐人才能完成，且目前没有成熟的通用辅助软件。如果可以通过手机APP软件完成哼唱直接转换为乐谱，无疑将会帮助更多人进入音乐创作行业。因此，设计一种快速精准识别哼唱曲调的算法与软件，实现自动记谱具有广阔的应用前景和市场。

对哼唱的曲调的识别，通常的方法是采用寻找音频频率的突变点，并对音符音长进行切分,然后提取切分段的频率。频率的提取主要有时域、频域以及统计3种方法。时域提取基频的方法抗噪性低，只能粗略估计基频。在哼唱低频部分，每个音高差距的频率不过几赫兹，不适合应用此类方法。统计方法的计算量太大，不适合用于软件的快速分析。当前应用比较多的是频域分析方法，主要有离散小波变换(DWT) 和加窗傅里叶变换(WFT)两种。离散小波变换主要的特征是灵活性、快速性、双域性和深刻性，但是对音高频率相差只有几赫兹的人声低频部分，提取误差较大。而加窗傅里叶变换通过简单调整窗长，可以较好地满足需求。

在使用加窗傅里叶变换提取基频的方法中，国内外已有报导。Kwok等提出了自适应的短时傅里叶变换(ASTFT)，利用自适应关系调整窗长；但自适应调整需要提前知道目标参数，与哼唱基频提取的目标相悖。Dressler提出了多分辨率快速傅里叶变换(FFT)的正弦提取；虽然提高了和弦音频的提取能力，但准确度只有71.4％，并且与哼唱记谱的基频提取要求仍有差距。鲁佳采用了加窗傅里叶变化提取人声哼唱音高，通过对谐波分组来确定基频；但其固定窗长的提取方法无法同时满足高频和低频提取的精确度。张文歆采用多分辨率短时离散傅里叶变换(STDFT)对音频的主旋律进行提取，并指出应在局部区域对频率不断变化的音频进行频率测量，但该工作追求谐波的提取，且使用信号为一般音乐信号，含有大量的乐器噪声，与哼唱记谱中的基频提取背景不符。由于人声哼唱的能量很难固定，波动较大，而频率在短时间是趋于一致的，因此，对哼唱的音符度量(频率、音高、音长)的精确识别，成为解决辅助作曲软件的核心技术关键点，也是难点。不同人的发音标准、声音大小、节奏情况相对不同，哼唱环境影响导致音频组成更加复杂，节奏变化模糊，随机性更大，因此在对人声哼唱的音频的精确提取方面，更具挑战性。

综上所述，对于人声哼唱的自动识别记谱方面，当前并未有成熟且完美的解决方案。本发明基于加窗傅里叶变换基础上，提出了一种新的符合哼唱特征的加窗傅里叶变换改进算法，发明了人声哼唱精确识别算法及数字记谱方法，较好地解决了对哼唱作曲过程中音频的分析与提取，为开发精准的哼唱作曲软件，提供了一种可行的关键技术和解决方案。

发明内容