[发明专利]学情分析方法及装置、电子设备和存储介质有效
申请号: | 202011190170.2 | 申请日: | 2020-10-30 |
公开(公告)号: | CN112287844B | 公开(公告)日: | 2023-04-18 |
发明(设计)人: | 孙贺然;王磊;曹军 | 申请(专利权)人: | 北京市商汤科技开发有限公司 |
主分类号: | G06V40/20 | 分类号: | G06V40/20;G06V40/16;G06V20/40;G06Q50/20 |
代理公司: | 北京林达刘知识产权代理事务所(普通合伙) 11277 | 代理人: | 刘新宇 |
地址: | 100080 北京市海淀区北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 情分 方法 装置 电子设备 存储 介质 | ||
1.一种学情分析方法,其特征在于,包括:
获取待分析的课堂视频数据;
通过对所述课堂视频数据进行学员检测,得到课堂行为事件,所述课堂行为事件用于反映学员在课堂上的行为;
根据所述课堂行为事件,确定所述课堂视频数据对应的学情分析结果,所述学情分析结果用于反映学员在课堂上的学习情况;
响应于回放或实时播放所述课堂视频数据,通过播放所述课堂视频数据的显示界面,展示所述学情分析结果,所述学情分析结果在播放课堂视频数据的过程中同步展示;
其中,所述通过对所述课堂视频数据进行学员检测,得到课堂行为事件,包括:
对所述课堂视频数据进行学员检测,得到至少一个检测框;
将多帧图像中包括的相同检测框作为目标检测框,并对所述课堂视频数据中的所述目标检测框进行跟踪,得到所述目标检测框对应学员的所述课堂行为事件;
所述方法还包括:
在所述目标检测框对应学员出现相邻两次同一课堂行为事件之间的时间间隔小于第一时间间隔阈值的情况下,对所述相邻两次同一课堂行为事件进行合并。
2.根据权利要求1所述的方法,其特征在于,所述检测框用于在所述图像中标识出所述学员检测的至少一项检测结果。
3.根据权利要求1或2所述的方法,其特征在于,所述学员检测包括人脸检测和人体检测中的至少一项;
在所述学员检测包括人脸检测的情况下,对所述课堂视频数据中的图像进行所述学员检测,得到至少一个人脸框;
在所述学员检测包括人体检测的情况下,对所述课堂视频数据中的图像进行所述学员检测,得到至少一个人体框。
4.根据权利要求1至3中任意一项所述的方法,其特征在于,所述课堂行为事件包括专注事件、左顾右盼事件、低头事件、举手事件和起立事件中的至少一项。
5.根据权利要求1或4所述的方法,其特征在于,所述学员检测包括人脸检测,所述检测框包括人脸框;
所述将多帧图像中包括的相同检测框作为目标检测框,并对所述课堂视频数据中的目标检测框进行跟踪,得到所述目标检测框对应学员的所述课堂行为事件,包括:
将多帧图像中包括的相同人脸框作为目标检测框,并对所述课堂视频数据中的所述目标检测框进行跟踪;
在多帧图像中跟踪检测到所述目标检测框中的人脸在水平方向的人脸角度小于第一角度阈值的情况下,确定所述目标检测框对应的学员出现一次专注事件;
和/或,
在多帧图像中跟踪检测到所述目标检测框中的人脸在水平方向的人脸角度大于或等于第二角度阈值的情况下,确定所述目标检测框对应的学员出现一次左顾右盼事件,所述第一角度阈值小于或等于所述第二角度阈值;
和/或,
在多帧图像中跟踪检测到所述目标检测框中的人脸在竖直方向的人脸角度大于或等于第三角度阈值的情况下,确定所述目标检测框对应的学员出现一次低头事件。
6.根据权利要求1或4所述的方法,其特征在于,所述学员检测包括人体检测,所述检测框包括人体框;
所述将多帧图像中包括的相同检测框作为目标检测框,并对所述课堂视频数据中的目标检测框进行跟踪,得到所述目标检测框对应学员的所述课堂行为事件,包括:
将多帧图像中包括的相同人体框作为目标检测框,并对所述课堂视频数据中的所述目标检测框进行跟踪;
在多帧图像中跟踪检测到所述目标检测框中的人体存在举手动作的情况下,确定所述目标检测框对应的学员出现一次举手事件;
和/或,
在所述课堂视频数据中跟踪检测到所述目标检测框中的人体依次存在起立动作、站立动作以及坐下动作的情况下,确定所述目标检测框对应的学员出现一次起立事件。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京市商汤科技开发有限公司,未经北京市商汤科技开发有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011190170.2/1.html,转载请声明来源钻瓜专利网。