[发明专利]一种诗词吟诵风格的分类方法与系统

权利要求书

1.一种诗词吟诵风格的分类方法，其特征在于，包括以下步骤：

S1、数据准备，记录诗词朗诵的原始音频；对原始音频进行时间标注，获取原始音频每一个字以及每一句的起始时间标注，得到相应的起始时间标注数据；获取原始音频的评分数据；随机抽取一部分原始音频进行风格标注，形成风格标注数据；

S2、提取原始音频的音频特征序列；对诗词的句子进行切分，将所提取的音频特征序列形成多通道的二维数组；将多通道的二维数组以及原始音频的评分数据作为CNN神经网络的输入，对CNN神经网络进行训练，得到CNN神经网络的权重；二维数组的通道数为M，其中M为倒谱系数的数量；

通过对每一个字的起始时间标注，以及每个字在诗词中的特性，在原有的M个通道的二维数组中，内嵌E个通道的额外信息，使音频特征序列最终形成2*(M+E)维的数组，E大于等于1，内嵌的额外信息包括每个字发音的评分、每个字的编码和每个字对应的拼音编码；

S3、训练风格分类网络，改变CNN神经网络的全连接层参数，将具有新的全连接层参数的CNN神经网络为最终训练的结果，作为风格分类网络；

S4、应用训练好的风格分类网络，对古诗词吟诵音频进行吟诵风格分类。

2.根据权利要求1所述的诗词吟诵风格的分类方法，其特征在于，步骤S2中，通过MFCC特征提取算法，提取原始音频的音频特征序列，步骤如下：

对原始音频信号进行预加重处理；对预加重后的音频信号进行分帧处理；对分帧处理后的音频信号进行加窗处理；对加窗处理后的音频信号进行离散傅立叶变换，以获取频域的能量分布；对离散傅立叶变换后的音频信号进行滤波；对离散傅立叶变换后的音频信号的频谱进行离散余弦变换，得到倒谱系数。

3.根据权利要求2所述的诗词吟诵风格的分类方法，其特征在于，步骤S2中，对诗词的句子进行切分，将音频特征序列形成M个通道的二维数组，过程为：

根据原始音频的起始时间标注数据，对原始音频的音频特征序列进行分段截取，对诗词的句子进行切分，诗词的每一句对应一个特征序列；获得截取后的N个特征序列，其中N为诗词句子数，每个倒谱系数作为一个通道，则形成M个通道的二维数组。

4.根据权利要求3所述的诗词吟诵风格的分类方法，其特征在于，在2*(M+E)维的数组里面，每个元素是一个M+E维的矢量；内嵌的方式为在每个字的起始时间点，匹配对应的倒谱系数特征段，插入相应的额外信息。

5.根据权利要求4所述的诗词吟诵风格的分类方法，其特征在于，内嵌E个通道的额外信息为除了声音以外的、对吟诵风格分类有影响且以字为单位的信息。

6.根据权利要求5所述的诗词吟诵风格的分类方法，其特征在于，

每个字的编码、每个字对应的拼音编码为静态的标注数据，形成字典；步骤S1所记录的原始音频包括音频信息和该原始音频对应的诗词文本，通过查询上述字典，获得该原始音频对应的诗词文本中每个字的编码和每个字对应的拼音编码。

7.根据权利要求1所述的诗词吟诵风格的分类方法，其特征在于，步骤S4包括：

S41、输入古诗词吟诵音频，通过步骤S2的方法，提取音频特征序列；

S42、把步骤S41得到的音频特征序列，按步骤S2的方法，生成多通道的二维数组；

S43、把步骤S42所生成的多通道的二维数组作为输入，通过步骤S3训练得到的风格分类网络，从若干种不同的风格类别中择一输出，作为步骤S41所输入吟诵音频的古诗词吟诵风格分类。