[发明专利]表情与姿态融合的双模态教学评价方法、设备及存储介质

说明书

本发明公开了一种表情与姿态融合的双模态教学评价方法、设备及存储介质，该方法包括：获取学生的视频数据，并对视频数据进行预处理；通过预设的深度学习模型分别提取每一图像帧所包含的面部表情特征和身体姿态特征；将属于同一图像帧的面部表情特征和身体姿态特征进行融合，得到每一图像帧的融合特征，并根据连续图像帧所对应的融合特征序列，获取学生的情感状态；通过预设的情感与学习状态的关联坐标系，基于学生的情感状态映射得到学生学习状态，从而通过获取的学习状态进行教学评价。本发明通过动态分析教学场景中学生的面部表情和身体姿态来进行教学评价，可更准确地做出教学评价。

技术领域

本发明涉及人工智能技术领域，特别涉及一种表情与姿态融合的双模态教学评价方法、设备及存储介质。

背景技术

提高教学效率是新型学习场景的本质，也是课程改革的目标，而学生学习状态是提高教学效率的一个重要的参考指标；教师在课堂中对学生学习状态的掌控，有利于教师根据学生的学习状态调整教学进度、教学方法等，从而进一步调动学生学习的积极性。传统的获取学生学习状态的方式是教师通过课堂观察与提问的方式获取学生学习状态，但这种传统的方式会由于教师精力不足等原因，造成信息传递与反馈的片面性与滞后性。而目前信息技术的高速发展，特别是视频监控系统的智能化发展，为弥补上述问题提供了可能。

目前，现有的教学评价方法主要包含：(1)通过基本的课堂动作来判断学习状态建立教学评价系统；(2)通过建立标签关联的方式来进行判断；(3)通过特定的面部动作变化来计算专注度和活跃度；上述方法主要存在下列缺陷：

上述方法主要是单一模态的分析，存在检测失败或目标丢失时的局限性；且上述方法并没有针对分析其中蕴含的学习情感；此外，上述方法属于静态分析，忽略了学习状态之间的时间关联，缺乏时间特征导致分析结果存在偏差。

发明内容

本发明提供了一种表情与姿态融合的双模态教学评价方法、设备及存储介质，以解决现有的教学评价方法由于采用单模态分析，从而导致存在检测失败或目标丢失时的局限性，以及现有的教学评价方法由于忽略了学习状态之间的时间关联，缺乏时间特征，从而导致分析结果存在偏差的技术问题。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供了一种表情与姿态融合的双模态教学评价方法，该表情与姿态融合的双模态教学评价方法包括：

获取学生的视频数据，并对所述视频数据进行预处理，得到用于表示学生面部表情变化的表情序列数据和用于表示学生身体姿态变化的姿态序列数据；

通过预设的深度学习模型分别提取所述表情序列数据中每一图像帧所包含的面部表情特征和所述姿态序列数据中每一图像帧所包含的身体姿态特征；将属于同一图像帧的面部表情特征和身体姿态特征进行融合，得到每一图像帧的融合特征，并根据连续图像帧所对应的融合特征序列，获取学生的情感状态；

通过预设的情感与学习状态的关联坐标系，基于学生的情感状态映射得到学生的学习状态，以通过学生的学习状态进行教学评价，得到教学评价结果。

进一步地，对所述视频数据进行预处理，得到用于表示学生面部表情变化的表情序列数据和用于表示学生身体姿态变化的姿态序列数据，包括：

通过人脸检测提取所述视频数据中每一图像帧的人脸区域，基于面部关键点对提取到的人脸图像进行对齐操作，裁剪出表示面部表情变化的区域，并对裁剪出的图像进行尺寸归一化，得到表示学生面部表情变化的表情序列数据；

提取出所述视频数据中每一图像帧的身体区域，基于身体关键点对提取到的身体图像进行对齐操作，裁剪出表示身体姿态变化的区域，并对裁剪出的图像进行尺寸归一化，得到表示学生身体姿态变化的姿态序列数据；

对所述表情序列数据和所述姿态序列数据进行帧数归一化。