[发明专利]一种融合听觉感知特征和视觉特征的中国民歌地域分类方法

摘要

本发明公开了一种融合听觉感知特征和视觉特征的中国民歌地域分类方法。本发明提出同时提取听觉感知特征和视觉特征用于中国民歌的地域分类，并且提出要充分考虑两种特征对于中国民歌地域分类的适用性，从而对它们做了改进。提取听觉感知特征时，充分考虑特征对音乐语义的清晰性表达与特征的时序结构，采用CHMM模型对每类民歌建模，然后计算每首民歌对应于各个CHMM的输出概率，进而将每首歌曲的听觉感知特征转化为新的特征向量。提取音频视觉特征时，采用彩色语谱图替代灰度图以捕捉更多的纹理信息，并且同时采用纹理模式特征与模式强度特征以更全面的表征纹理。实验表明，本发明不仅可以有效识别不同地域的民歌，而且优于现有的民歌地域识别方法。

主权项

1.一种融合听觉感知特征和视觉特征的中国民歌地域分类方法，其特征在于，首先，对原始音频信号按帧提取听觉感知特征并进行时序相关性建模；其次，将原始音频信号的整体转化为彩色语谱图提取视觉特征；最后，将提取到的两部分特征进行决策级融合得到最终的分类结果；具体包括以下步骤：1)听觉感知特征的提取：包括按帧提取音频特征，帧特征时序相关性建模，新的特征向量集合，归一化处理，具体包括以下步骤：1‑1)按帧提取音频特征：针对原始音频信号按帧提取梅尔频率倒谱系数、谱质心及Chroma特征作为听觉感知特征；1‑2)帧特征时序相关性建模：采用连续隐马尔科夫模型为每类民歌建立模型，连续隐马尔科夫模型简称CHMM模型；1‑3)新的特征向量集合：计算每首民歌对应于所有CHMM模型的输出概率，并将这些输出概率组合成新的特征向量集合；1‑4)归一化处理：对得到的新特征向量进行归一化处理，作为最终用于分类的听觉感知特征向量集合；2)视觉特征的提取：视觉特征的提取过程，包括视觉图像的获取，视觉纹理特征的提取，以及视觉特征的降维处理，具体包括以下步骤：2‑1)视觉图像的获取：将每首民歌的音频信号的整体转化为彩色语谱图，并将每幅彩色语谱图转化为RGB三个颜色通道的灰度图像；2‑2)视觉纹理特征的提取：分别对每个颜色通道的灰度图像提取均匀二值模式和对比度特征，同时考虑对不同颜色通道之间的uniform LBP特征相关性进行计算，考虑Contrast特征提取时算子取值离散化问题；2‑3)视觉特征的降维处理：采用概率分析方法来获得不同地域民歌各种颜色通道内LBP特征中差异比较大的模式，然后只保留这些模式，从而达到降维的目的；3)地域分类器融合：分别将提取到的听觉感知特征、视觉特征输入到各自的支持向量机分类器，对得到的SVM分类器分数向量进行融合作为最终的分类结果。