[发明专利]一种基于人工智能的在线教育人机交互方法与系统

权利要求书

1.一种基于人工智能的在线教育人机交互方法与系统，包括：在线教育人机交互方法、情绪识别子系统、智能会话子系统、课堂组织模块；其特征在于：

所述在线教育人机交互方法具有两个与用户进行交互的方法，分别是：情绪识别子系统和智能会话子系统。

所述情绪识别子系统通过学生端摄像头采集的影像信息，利用计算机情绪识别技术分析学生的情绪，进而判断受教育者的学习状态和接受程度。

所述智能会话子系统通过接收学生的语音输入并将其转换成文字形式，再利用自然语言理解模块对其进行处理。

2.根据权利要求1所述的一种基于人工智能的在线教育人机交互方法与系统，其特征在于：情绪识别子系统包括5个部分，分别为：卷积神经网络提取图像特征，递归神经网络建模时序特征，音频模块处理音频信息，Aggregated CNN进行粗略分类，融合网络将不同类型特征融合。

3.根据权利要求1、2情绪识别子系统将用户情绪分为7类，分别是：生气、厌恶、害怕、开心、伤心、惊讶和中立。

4.根据权利要求1所述的一种基于人工智能的在线教育人机交互方法与系统，其特征在于：智能会话子系统包括5个部分，分别为：语音识别模块、自然语言理解模块、会话管理模块、自然语言生成模块、语音合成模块，其中语音识别模块负责接收用户的语音输入并将其转换成文字形式交由自然语言理解模块进行处理。自然语言理解模块是了一个基于本体和语义文法的上下文相关问答系统。会话管理模块负责协调各个模块的调用及维护当前会话状态，选择特定回复方式并交由自然语言生成模块进行处理。自然语言生成模块输出文字形式的回复，作为输入交由语音合成模块进行语音合成的处理。语音合成模块中使用统计参数语音合成方法将自然语言生成模块的输出转换成语音，然后输出给用户。

5.根据权利要求1所述的一种基于人工智能的在线教育人机交互方法与系统，其特征在于：课程采取三层模板的方式进行组织。第一层为全部课程的知识概况，该层展示了课程的知识大类，起到类似一级目录的作用；第二层为给定知识的正式教学内容，该层为学生提供了具体课程内容，是教学组织的核心层，起到类似二级目录的作用；第三层为正式教学内容的补充和拓展知识，是对教学内容的辅助说明，以便加深学生的理解，起到类似三级目录的作用。

6.根据权利要求1、2所述的一种基于人工智能的在线教育人机交互方法与系统，其特征在于：将生气、厌恶、害怕、伤心、惊讶、中立、开心七种情绪对应地理解为：课堂节奏过慢或过快产生抵触情绪、不适应讲者的授课风格、课堂内容难度太大产生畏难情绪、跟不上课堂进度、不能理解讲者所授内容(生气、厌恶、害怕、伤心)，意想不到的知识点(惊讶)，正在认真听讲(中立)，对知识点理解的很透彻(开心)。

7.根据权利要求1、4所述的一种基于人工智能的在线教育人机交互方法与系统，其特征在于：智能会话子系统在用户学习的同时会自动管理一个重点内容提示窗口，该窗口是当前讲述内容的重点知识，依据所讲述的内容智能会话子系统在适当的场景下提出对应的问题。

8.根据权利要求1、5所述的一种基于人工智能的在线教育人机交互方法与系统，其特征在于：用户流露出惊讶、中立、开心的表情时，系统会认为其对该部分知识掌握较好，将推送下一场景或给出适当的褒扬，并提升课堂节奏；当用户流露出生气、厌恶的表情时，系统会认为其对老师授课风格不适应，或感觉该部分内容较为枯燥，将播放舒缓音乐等调节课堂气氛，让用户尽快进入良好的学习状态；当用户流露出害怕、伤心的表情时，系统会认为其因为知识内容太过深入难以理解，或产生了畏难情绪，将给课堂管理者及时的反馈，并适当调整课程内容或者补充辅助的知识，帮助用户重新理解这部分内容。