[发明专利]一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法

权利要求书

1.一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统，其特征在于，包括多模态信息感知与采集模块、多模态数据智能识别模块、课堂上下文知识库模块、多模态数据分析模块、学生课堂状态报告输出模块、学生课堂状态判断模块、学生课堂状态指示模块和学生课堂状态调整模块；

所述多模态信息感知与采集模块、多模态数据智能识别模块、课堂上下文知识库模块、多模态数据分析模块、学生课堂状态报告输出模块依次连接；所述多模态数据智能识别模块、学生课堂状态判断模块、学生课堂状态指示模块和学生课堂状态调整模块依次相连；所述学生课堂状态报告输出模块、课堂上下文知识库模块、学生课堂状态判断模块依次相连；

所述多模态信息感知与采集模块用于对教学过程中学生原始图像和语音数据的感知和采集，并将采集到的学生原始图像和语音数据发送至所述多模态数据智能识别模块；所述学生原始图像是指学生以及课堂环境的图像，所述语音数据是指课堂教学时师生互动时产生的语音数据；

所述多模态数据智能识别模块用于将采集到的学生原始图像和语音数据进行分类识别；

所述学生课堂状态判断模块用于从学生行为方面判断学生的课堂状态，即通过学生课堂行为的智能识别来判断学生处于何种学习状态；

所述学生课堂状态指示模块用于基于已判定的学生课堂状态实现学生课堂状态的指示；

所述学生课堂状态调整模块用于让教师根据学生状态的指示，进行干预调整；

所述课堂上下文知识库模块为所述多模态数据智能识别模块提供特征参数及具体识别算法的指导，同时为所述多模态数据分析模块和所述学生课堂状态指示模块提供历史课堂上下文及各种既定指标要求；另一方面，所述多模态数据智能识别模块、多模态数据分析模块和学生课堂状态指示模块将系统运行过程中产生的各类课堂上下文信息存储到所述课堂上下文知识库模块以作为历史课堂上下文为系统提供参考；所述学生课堂状态报告输出模块将分析结果形成输出报告反馈到所述课堂上下文知识库模块以实时调整系统状态，实现系统的自适应性；

所述多模态数据分析模块用于分析和评价学生参与课堂学习的情况；学生参与课堂学习的情况包括学生个体有效学习行为指数、课堂学生平均有效学习行为指数、课堂瞬时学生学习行为效率指数、师生语音互动时间、课堂师生语音互动总时间和课堂师生语音互动效率，最终通过大数据处理反映学生课堂的学习效果，分析得到科学的课堂质量指标数据；所述多模态数据分析模块还通过记录学生课堂中不同行为和与师生语言互动的次数和时间，包括具体的互动人数和互动学生名字，为教师讲评学生课堂表现提供数据；

所述学生课堂状态报告输出模块用于在多模态数据分析模块分析数据的基础上进行具体阐述并输出报告。

2.根据权利要求1所述的一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统，其特征在于，所述多模态信息感知与采集模块包括图像感知采集单元和语音感知采集单元，所述图像感知采集单元和语音感知采集单元同步感知并采集原始数据；

所述图像感知采集单元利用教室摄像监控系统感知采集学生原始图像；所述语音感知采集单元利用录音设备感知采集课堂教学的语音数据。