[发明专利]一种基于语音情感识别的远程汉语教学系统

权利要求书

1.一种基于语音情感识别的远程汉语教学系统，其特征在于：该系统包括汉语发音练习模块、语音情感处理模块、语音情感分析模块、用户管理模块、学习效果分析评测模块、课程管理模块六个部分；用户在进行汉语语音课程学习的过程中要练习汉语发音，这些语音信号在经过汉语发音练习模块时进行预处理，得到相应便于分析的情感语音信号，在语音情感处理模块中进行实时监控；当汉语的发音输入语音情感处理模块后，对于带有一定情感的语音，进行情感参数有效性分析后提取出有具有典型特征的语音情感特征参数，再将这些参数分为短时特征和长时特征分别进行处理，运用相应的语音情感识别模型和分类器进行平静、高兴、惊奇、生气、悲伤的五种情感识别；语音情感分析模块根据从语音情感处理模块收集到的情感信息识别结果，为特定用户做出适合的学习状态评价；然后通过语音情感分析模块进入用户管理模块，在用户管理模块中记录的用户信息会发送到学习效果分析评测模块中，通过由课程管理模块调用相关的课程资料，用户就可以根据自身水平及时调整学习进度，得到适合自身水平的学习资料。

2.根据权利要求1所述的一种基于语音情感识别的远程汉语教学系统，其特征在于：汉语发音练习模块对用户输入的语音数据进行预处理，滤除掉其中的不重要信息和背景噪声等；进行语音信号的端点检测，即判定语音有效范围的开始和结束位置，进行语音的分帧、预加重、加窗的工作；帧长20-40ms，帧移5-15ms；对语音高频部分进行加重，增加的高频分辨率，预加重系数一般为[0.9，1.0]。

3.根据权利要求1所述的一种基于语音情感识别的远程汉语教学系统，其特征在于：语音情感处理模块对输入的语音数据进行参数有效性分析、特征提取、短时特征的训练识别、长时特征的训练识别这四部分处理，得到不同语音情感信号所对应的情感。

4.根据权利要求1和3所述的一种基于语音情感识别的远程汉语教学系统，其特征在于：所述的参数有效性分析运用平均模糊熵的值，选择隶属度最大的情感参数作为识别情感的特征参数。

5.根据权利要求1和3所述的一种基于语音情感识别的远程汉语教学系统，其特征在于：所述的特征提取分别选取全局结构特征参数：语句发音持续时间、语速，分帧处理后的时域结构特征参数：基音频率、短时平均振幅、共振峰、短时能量，频域结构特征参数：Mel频率倒谱系数、Mel能谱动态系数作为情感语音信号处理的特征参数。

6.根据权利要求1和3所述的一种基于语音情感识别的远程汉语教学系统，其特征在于：所述的短时特征的训练识别选取发音持续时间、语速、基音频率、短时平均振幅、共振峰、短时能量、Mel频率倒谱系数作为短时特征参数，运用隐马尔可夫模型(HMM)的方法进行训练和识别。

7.根据权利要求1和3所述的一种基于语音情感识别的远程汉语教学系统，其特征在于：所述的长时特征的训练识别选取Mel能谱动态系数作为长时特征参数，运用支持向量机(SVM)的方法进行训练和识别，对于训练集中某些对分类结果的影响很大的点采用模糊支持向量机(FSVM)进行处理。

8.根据权利要求1所述的一种基于语音情感识别的远程汉语教学系统，其特征在于：语音情感分析模块根据不同人的学习记录和由语音情感处理模块得到的情感状态通过统计方法计算用户的整体情感反应，得到不同情感用户对应的情感状态；当用户处于平静时他处在一种高效的学习状态里，语音情感分析模块会通知用户管理模块分配给用户相对较难的课程；当用户处在高兴时在一种快速的学习状态的指导下，系统会分配一些在学习者平时容易读错的词语进行反复练习；当用户在惊奇状态中，学习状态识别为一般，语音情感分析模块会告知用户管理模块分配平缓的汉语语句进行练习调整情感状态；如果语音情感识别结果为生气时，语音情感分析模块认定学习状态为慢速，用户管理模块分配难度适中，词或者句意感情色彩相对平缓、欢快的汉语语言进行学习；如果用户处在悲伤状态下，学习状态处于停滞，用户管理模块根据这种情况只能分配时令新词、欢快的诗歌或者歌曲让用户学习和欣赏，以期逐步调整他的情感状态。