[发明专利]一种基于语音识别的言语功能自动评估系统和方法

说明书

本发明公开了一种基于语音识别的言语功能自动评估系统和方法。该系统包括语音端点检测模块、语音识别模块和评估模块，所述语音识别模块分别与所述语音端点检测模块和所述评估模块具有通信连接，其中所述语音端点检测模块被配置为从连续语音流中检测出语音信号的起点和终点，以提取待评估的语音段；所述语音识别模块被配置为基于经训练的声学模型，对待评估语音段进行特征提取，并输入至深度神经网络模型，以识别出对应的词序列；所述评估模块被配置针对所识别出的词序列，结合呼吸功能的评价指标、发声功能的评价指标和构音功能的评价指标来评估言语功能。本发明能够更全面和准确地评估言语功能，尤其适用于儿童的言语功能分析。

技术领域

本发明涉及信息技术领域，更具体地，涉及一种基于语音识别的言语功能自动评估系统和方法。

背景技术

言语障碍主要有四类：构音障碍、口吃、发声障碍和听力障碍，其临床表现为呼吸、发声、共鸣、构音和语音功能的异常。言语障碍在我国儿童群体中的发病率较高，已有研究表明，我国培智学校的在校生主要为中重度智力障碍，其中，70％以上患有言语障碍，而构音障碍的比例大约占据75％到80％。在对沈阳市2316名儿童调查中发现，言语障碍发生率为4.01％，其中，功能性构音障碍儿童占比最高，为51.08％。此外，有研究表明，72.3％到89.2％的言语障碍儿童在经过适当的治疗和干预后取得了较大程度的改善，部分甚至能够完全康复。因此，对言语功能进行全面评估至关重要，这将为发现潜在的言语障碍症状提供可能。

以往的儿童言语功能评估一般由具有相关语言文化背景的专业言语治疗师采用听的方法，通过制定一些量表进行主观上的评估，非常依赖言语治疗师的经验和知识。目前中国专业言语治疗师严重缺乏，低龄患者对专业人员的需求存在巨大缺口。在这一背景下，希望依靠语音识别(automatic speech recognition，ASR)和语音信号处理技术实现适用于学前儿童的、可靠、便捷的言语功能自动评估。

在过去的二十年中，诸多学者基于ASR研究语音的自动评估，如计算机辅助发音训练(Computer aided pronunciation training，CAPT)系统和计算机辅助语言教学系统(Computerassisted language learning，CALL)等。在语音自动评估系统中会使用不同的方法进行特征提取，例如基于信号处理、韵律分析和自然语言处理。所提取的特征继而输入到统计模型中自动判别得到测试者的口语能力得分。ASR模块在自动语音评估系统中发挥着重要的作用，从ASR的输出和韵律分析结果中可提取出一组被广泛应用于语音自动评估系统的特征，这些特征可用于对流利度、发音、音调、语法、词汇使用等方面的评估。

几十年以来，ASR技术得到了长足发展，也经历了很多变革。同样的，基于ASR的语音自动评估技术也随之变化。早期，高斯混合-隐马尔可夫模型(Gaussian Mixture Model-Hidden Markov Model，GMM-HMM)一直是搭建语音识别声学模型的最优框架。在此框架基础上，有学者提出了GOP(Goodness of Pronunciation)算法，用以对发音作自动评估。随着人工智能的快速发展，深度神经网络(Deepneural network，DNN)被成功应用到众多领域，ASR系统的传统声学模型GMM-HMM也逐渐被DNN-HMM取代。与此同时，语音自动评估技术也得到了相应发展。然而，目前研究大多针对计算机辅助语言教学系统的非本地说话人的语音评估任务，且说话人年龄在10岁以上，鲜有针对3-6岁学前儿童言语功能自动评估的研究。

经统计分析，现有的言语功能评估技术主要存在以下问题：

1)、目前研究大多针对计算机辅助语言教学系统的非本地说话人的语音评估任务，说话人年龄在10岁以上，这影响了对于3-6岁学前儿童言语障碍评估的准确性。

2)、目前的语音自动评估系统主要针对成人第二语言学习的发音评估，评价标准比较单一，很难全面反映言语功能状况，特别是对于学前儿童而言，应该提供更全面的综合评估方案，以分析学龄前儿童的言语功能发育状况。