[发明专利]一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法

说明书

本发明涉及一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法，多模态数据智能识别模块对学生原始图像和语音数据进行分类识别；课堂上下文知识库模块提供判断依据及分析的具体算法指导；学生课堂状态判断模块判断学生的课堂状态；学生课堂状态调整模块用于教师或学生根据学生状态的显示进行调整；多模态数据分析模块分析学生课堂行为表现和师生语音互动的表现；课堂状态报告输出模块输出课堂状态报告。本发明解决了当前高效课堂中学生上课不专心、课堂学习效果差等问题，对教师课堂教学的改进具有较大的参考价值。

技术领域

本发明涉及一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法，属于人工智能和教学新技术应用技术领域。

背景技术

目前，现有的学生课堂学习质量评价系统多通过统计分析学生上课的某些参数来进行学生的学习质量评价，但该评价方法基本都是单一的基于学生的行为或表情，没有综合考虑课堂的各种其他因素，也不能进行实时的反馈和调整，对课堂教学的评价不够全面。

如何利用信息技术手段来实现学生课堂状态的实时指示与分析，已经成为当前提升课堂教学质量的迫切需求。在教育信息化的背景下，基于教室监控系统和各种人工智能开展课堂教学实时监测，并在此技术上实现教师纠正和学生改正的目标是实现课堂教学质量提升的有效手段，其将被广泛地应用于教育改革和教学实践中。

发明内容

针对当前在校学生课堂学习中普遍存在的听讲不认真等问题，本发明提供了一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统；

本发明还提供了一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒方法；

本发明依托教室监控系统、语音采集器和计算机等硬件设备，聚焦课堂中学生行为和师生语音互动的数据采集、分类识别、状态判断指示与提醒、数据分析与课堂教学深度融合，提出了一种基于行为和语音互动智能识别的实时课堂学生状态分析与指示提醒系统。本发明建立于课堂教学过程中的行为和语音数据采集的基础上，准确获取课堂教学过程学生行为和语音互动两种主要的数据，通过识别课堂教学过程中学生的行为来判断学生的课堂状态(定义三种课堂状态：全学习状态、间歇性学习状态和非学习状态，即全学习状态指学生的课堂行为在规定更新的时间内是学习行为；间歇性学习状态指学生的课堂行为在规定更新的时间内既有学习行为也有非学习行为；非学习状态指学生的课堂行为在规定更新的时间内是非学习行为)，可为教师和学生提供多种指示设备(如教室多媒体电脑/大屏、教师手机、教师端LCD显示器)直观地了解课堂学生的学习状态，从而动态调整教学活动和教学模式，纠正学生的不当课堂行为，系统也可通过学生座位上的状态指示灯(非学习状态时指示灯会持续闪烁)提醒学生调整课堂状态。同时，通过采集的语音数据对师生的课堂语音互动进行识别和分析，最后结合学生课堂行为和师生语音互动的分析形成学生课堂状态报告。该系统可以部分解决当前学校课堂中学生上课不专心、课堂学习效果差等突出问题，同时通过基于学生行为和师生语音互动两种主要的数据进行分析形成报告，对学生课堂考评和教师教学的改进具有一定的实用价值。

术语解释：

1、数字图像处理技术：数字图像是指由模拟图像数字化得到的、以像素为基本单位的、可以用数字计算机或数字电路存储和处理的图像。数字图像处理技术包括对模拟图像进行数字化转换、对图像的空间域进行变换、对模糊图像进行图像增强处理、通过机器学习算法对图像中的目标物体进行分类识别等。

2、计算机视觉算法：计算机视觉就是通过模拟生物的视觉，让计算机真正能“看见”的过程。即，由摄像头拍摄图像或视频，通过计算机视觉中的算法对图像中的目标进行分析处理的过程。计算机视觉算法特指机器学习算法在视觉领域的应用，包括支持向量机(SVM,Support Vector Machine)、K-近邻(KNN,K-Nearest Neighbor)、人工神经网络(ANN,Artificial Neural Networks)算法等。机器学习算法通过对给定的数据样本做训练，得到训练好的网络模型，然后将待测数据样本输入到已训练好的模型中做分类等处理。