[发明专利]音视频结合的课堂质量综合评估方法

权利要求书

1.一种音视频结合的课堂质量综合评估方法，其特征在于，采取的步骤为：

步骤一：获取课堂实时监控视频流；

步骤二：对视频数据进行预处理；

步骤三：采用预先训练的神经网络，计算识别出课堂出勤率；

步骤四：采用预先训练的神经网络识别检测课堂视频数据中的非正常学习行为；

步骤五：音频片段和视频帧送入预先训练的神经网络，结合音、视频的分析结果实现对课堂氛围的综合评估；

步骤六：对所述出勤率、非正常学习行为人数以及课堂氛围评估结果进行加权处理，得到课堂质量的综合得分；

步骤七：输出报告。

2.根据权利要求1所述音视频结合的课堂质量综合评估方法，其特征在于：所述步骤一具体为，设置有第一处理单元，用于调用相关函数将视频流和和对应的时间戳存储到本地；

设置有第二处理单元，用于对监控视频流进行解码和转码，以将监控视频流转换为目标环境和配置下支持的格式。

3.根据权利要求1所述音视频结合的课堂质量综合评估方法，其特征在于：所述步骤二具体为，设置第一预处理单元，用于对时监控视频流进行帧截取，获得可送至目标检测网络处理的视频帧；

第二预处理单元，用于调整视频帧大小，以适应网络输入；

第三预处理单元，用于在视频流中随机截取短时视频片段，并将提取到的视频片段转化为音频格式，获得可送至课堂氛围评估的分类网络处理的音频片段。

4.根据权利要求1所述音视频结合的课堂质量综合评估方法，其特征在于：所述步骤三具体为，

3.1获取课堂实时监控视频流；

3.2对输入的实时监控视频流进行预处理操作；

3.3将预处理后得到的实时监控视频流送入训练好的神经网络，以检测教室视频监控画面中的到课学生；

3.4统计出勤人数并计算出勤率，存储数据。

5.根据权利要求4所述音视频结合的课堂质量综合评估方法，其特征在于：所述步骤3.1具体为，输入课堂的监控视频流，具体包括，调用设备商提供的函数，以获取课堂实时监控视频流和对应的时间戳；

步骤3.2具体为，对监控视频流进行解码和转码，以将监控视频流转换为目标环境和配置下支持的格式，对时监控视频流进行帧截取，获得可送至目标检测网络处理的视频帧，调整视频帧大小，以适应网络输入；

步骤3.3具体为，将预处理得到的视频流送入预先训练好的目标检测网络，以检测教室视频监控画面中的到课学生，具体包括：采用YoloV3目标检测算法，把目标判定和目标识别两个步骤合二为一，通过从不同尺度特征图上预定义的默认边界框中估计预先设定好的对象类别，实时检测对象；

步骤3.4具体为，对教室视频监控画面帧中的检测到的目标进行统计，进而计算出课堂出勤率；将数据存储至Excel表格，供后期分析使用。

6.根据权利要求1所述音视频结合的课堂质量综合评估方法，其特征在于：所述步骤四具体为，4.1中获取课堂实时监控视频流；4.2对输入的实时监控视频流进行预处理操作；4.3中将预处理后得到的实时监控视频流送入训练好的神经网络，以检测教室视频监控画面中的非正学习行为；4.4统计非正常学习行为人数，存储数据。

7.根据权利要求6所述音视频结合的课堂质量综合评估方法，其特征在于：所述步骤4.1具体具体包括：调用设备商提供的相关函数，以获取课堂实时监控视频流和对应的时间戳；

步骤4.2具体包括：对监控视频流进行解码和转码，以将监控视频流转换为目标环境和配置下支持的格式；对时监控视频流进行帧截取，获得可送至目标检测网络处理的视频帧；调整视频帧大小，以适应网络输入；

步骤4.3具体包括：用于特征提取的网络框架参考darknet-53，在实现对课堂中到课学生的检测之后，继续收集课堂学生正常学习行为样本与非正常学习行为样本，并进一步加深网络结构，对目标进行细粒度划分，得到一个更细致的二分类网络，实现对课堂中非正常学习行为的识别；

步骤4.4具体包括：对教室视频监控画面帧中的检测到的非正常学习行为进行统计，并将数据存储至Excel表格，供后期分析使用。