[发明专利]一种融合听觉感知特征和视觉特征的中国民歌地域分类方法

权利要求书

1.一种融合听觉感知特征和视觉特征的中国民歌地域分类方法，其特征在于，首先，对原始音频信号按帧提取听觉感知特征并进行时序相关性建模；其次，将原始音频信号的整体转化为彩色语谱图提取视觉特征；最后，将提取到的两部分特征进行决策级融合得到最终的分类结果；具体包括以下步骤：

1)听觉感知特征的提取：包括按帧提取音频特征，帧特征时序相关性建模，新的特征向量集合，归一化处理，具体包括以下步骤：

1-1)按帧提取音频特征：针对原始音频信号按帧提取梅尔频率倒谱系数、谱质心及Chroma特征作为听觉感知特征；

1-2)帧特征时序相关性建模：采用连续隐马尔科夫模型为每类民歌建立模型，连续隐马尔科夫模型简称CHMM模型；

1-3)新的特征向量集合：计算每首民歌对应于所有CHMM模型的输出概率，并将这些输出概率组合成新的特征向量集合；

1-4)归一化处理：对得到的新特征向量进行归一化处理，作为最终用于分类的听觉感知特征向量集合；

2)视觉特征的提取：视觉特征的提取过程，包括视觉图像的获取，视觉纹理特征的提取，以及视觉特征的降维处理，具体包括以下步骤：

2-1)视觉图像的获取：将每首民歌的音频信号的整体转化为彩色语谱图，并将每幅彩色语谱图转化为RGB三个颜色通道的灰度图像；

2-2)视觉纹理特征的提取：分别对每个颜色通道的灰度图像提取均匀二值模式和对比度特征，同时考虑对不同颜色通道之间的uniform LBP特征相关性进行计算，考虑Contrast特征提取时算子取值离散化问题；

2-3)视觉特征的降维处理：采用概率分析方法来获得不同地域民歌各种颜色通道内uniform LBP特征中差异比较大的模式，然后只保留这些模式，从而达到降维的目的；

3)地域分类器融合：分别将提取到的听觉感知特征、视觉特征输入到各自的支持向量机分类器，对得到的SVM分类器分数向量进行融合作为最终的分类结果。

2.根据权利要求1所述的一种融合听觉感知特征和视觉特征的中国民歌地域分类方法，其特征在于，步骤1-2)具体操作为：将每首民歌提取的听觉感知特征作为观测向量，采用改进的Baum-Welch算法训练每个地域民歌的CHMM模型；具体步骤如下：

1)CHMM的初值选择

CHMM的参数训练过程，需要输入初始的模型参数；其中HMM初始状态概率向量初值π₀与初始状态转移矩阵A₀对模型的建立影响不大，随机给出；而HMM状态数W与GMM模型个数P，则尝试采用不同组合来确定，以寻找最优的CHMM模型；GMM的初始参数选择则采取K均值分段算法来设置；

2)CHMM参数训练过程

CHMM参数训练过程分为以下两步：

E-step：给定观察向量序列递归计算出第t帧处于状态S_j中的前向概率α_t(S_j)与后向概率β_t(S_j)，并由二者计算出第t帧处于状态S_i且第t+1帧处于状态S_j的概率如式(1)，以及第t帧处于状态S_j中第m个高斯模型的概率如式(2)：

M-step：根据γ_t(S_j)重新估计CHMM的参数：计算GMM各模型平均值向量μ^jm、协方差矩阵∑^jm，权重c^jm；状态转移概率a_ij，初始状态概率向量π；各参数表达式如下：

3.根据权利要求2所述的一种融合听觉感知特征和视觉特征的中国民歌地域分类方法，其特征在于，步骤1-3)具体操作为：将每首民歌的听觉感知特征作为观察向量采用Viterbi算法求出其对应于每个CHMM模型的输出概率，然后将其串接成一维向量其中表示训练集中第m类地域中第j首歌在第i个地域民歌CHMM模型下的输出概率，从而将第m类民歌中所有感知特征向量集合转化为新的特征向量集合