[发明专利]具有智能纠错功能的交互式虚拟教师系统

说明书

技术领域：

本发明涉及一种虚拟教师系统，尤其涉及一种具有智能纠错功能的交互式虚拟教师系统。适用于智能可视化互动人机对话学习平台。

背景技术：

语音纠错是语言学习和交流中的重要环节，也是人机对话教学需要解决的难点之一。理想状态下，虚拟教师应具有充分的智能性，不仅能自主发现错误，还要分析其错误的根源，知道如何纠正，何时纠正，纠正同时考虑学习者的情感因素，这样才能激发学习者的学习兴趣和学习信心，提高教学效率。而目前市场上存在的软件产品大多纠错时机固定，一旦发现学习者语音不达标，立刻纠正，不能根据学习者的情绪变化随时调整；并且纠错方式单一，只能针对某一确定官方标准语种，识别出学习者的语音，将其与标准语音做简单的对比分析，然后采用打分的形式对发音进行评判，根据分数的高低判断学习者的发音正误，如果系统认为发音有误，则提供正确的发音示范，供学生反复跟读练习，直至系统认为发音符合要求为止。这种纠错示范方式存在的一个明显弊端是，学习者必须具备良好的听音辨音能力，才能获得良好的纠错效果，而事实上，大多数学习者需要长期训练才能获得这种能力，这就与系统的纠错策略形成了一对矛盾体，学习者只能自己摸索发音差异，盲目的“模仿”学习，由于找不到发音差异和错误的真正根源，往往导致反复跟读都不正确发音，长此以往，打击学习者的自信心，造成了学习的厌烦和抵触情绪。为了弥补上述缺点，一些产品增加了声音波形对比图或者发音的视觉演示图，从视觉上提供个人语音与标准语音间的差异信息，虽然可以使学习者看到差异所在，但是并未用明确的文字信息告诉学习者如何改正。美国语言学家S.D.Krashen认为语言使用能力如口语，不是教出来的，而是随着时间的推移，接触大量的可理解语料之后自然获得的，并且同样也能获得必要的语法。据此，本发明设计的纠错评价模块着重分析学习者语音错误的产生原因，虚拟教师的主要任务是向学习者提供可理解的文字信息，辅以多视角发音口型图像同步示范，让学习者明确发音差距及如何纠正，养成主动纠错意识，有利于学习者养成良好的发音习惯，极大地提高语音纠错效率，快速提高学习者的语言交流使用能力。

此外现有产品的纠错功能都依赖于语音识别的准确率，即使语音识别技术再出色，也不可能包容所有的干扰情况和类型。一旦由于环境噪声的干扰或学习者明显地域特色的发音使得系统的语音识别出现误判，学习者的纠错学习也会随之出现偏差。Q.Summerfield等通过实验证明，在有噪背景下，与只提供声音信息相比，同时提供声音和同步的说话人脸视频图像，实验对象对语言的理解正确率提高31％。即使在声学环境良好的情况下，视觉信息的辅助也有利于语音的识别和学习。

基于图像处理的唇型识别技术通过说话人的口型变化识别出说话的内容，最早研究源于听障者的学习，其后唇读技术又用于情报获取等场合，1984年Petajan提出了首个计算机唇读系统，听觉视觉语音识别(AVSR)研究开始受到广泛关注，现有相关产品或专利使用范围有限，主要针对语音残障人群。而且该技术侧重于语音口型的识别和演示输出，没有充分挖掘声音图像中隐含的关联信息、分析探究会话中出现的错误根源及纠正方法，对说话人的情感识别关注也较少。

本发明在语音识别的基础上结合了基于图像处理的唇型识别技术，对采集的音视频信号分析处理，识别出学习者的语音口型和情感状态，不仅最大限度地提高语音识别的准确性、鲁棒性，而且根据学习者的情感和发音口型利用人工智能方法查找分析错误原因、解释错误、提供改正建议，自主调整纠错时机和纠错策略，增强了纠错的有效性，拓展了各种人群的语音培训和交互学习范畴。

发明内容：

本发明为了解决传统的人机对话教学通常只利用单纯的语音识别技术，识别率低、抗噪能力差，语言培训软件产品主要还是处于特定行业的中英文语音合成信息和口语评测状态，在智能纠错互动方面无法满足学习和交流需求的技术问题，提供了一种具有智能纠错功能的交互式虚拟教师系统，它包括音视频数据采集模块、信息识别模块、纠错评价模块、教学策略模块和数据库。所述音视频数据采集模块，通过视频音频两路传感器采集学习者面部图像和声音信号；再由信息识别模块，辨识经融合后的学习者口型、发音内容和情感；由纠错评价模块，从标准口型发音数据库中提取与之对应的标准口型和发音数据，自动评断学习者的发音和口型，并在互动交流中，自主选择恰当的时机反馈给学习者与标准发音口型间的差异信息、差异产生原因，指导学习者如何纠正；再由教学策略模块根据纠错评价模块对学习者的评断数据和情感状态，制定出师生一对一互动的个性化教学实施方案，形成具有智能纠错功能的可视化互动人机对话学习平台。