[发明专利]一种实时课堂注意力检测方法及系统

权利要求书

1.一种实时课堂注意力检测方法，其特征在于，该方法首先对实时图像进行人脸识别和头部姿态估计，获得对象位置和对应的注意力欧拉角，然后将对象位置和注意力欧拉角映射至三维空间，获得三维空间内的视线射线，最后基于所述视线射线获得各对象的注意力检测结果。

2.根据权利要求1所述的实时课堂注意力检测方法，其特征在于，采用基于多任务卷积神经网络的深度学习模型进行所述人脸识别，获得人脸区域和人脸特征点坐标，以人脸特征点的鼻子坐标位置作为所述对象位置。

3.根据权利要求2所述的实时课堂注意力检测方法，其特征在于，采用头部姿态估计深度学习模型对所述人脸区域进行处理，获得以正视图为参考系的对象的头部姿态，基于所述头部姿态获得对象的注意力欧拉角。

4.根据权利要求3所述的实时课堂注意力检测方法，其特征在于，基于所述头部姿态获得对象的注意力欧拉角具体为：

设置基准欧拉角，将所述头部姿态减去基准欧拉角，获得所述注意力欧拉角。

5.根据权利要求1所述的实时课堂注意力检测方法，其特征在于，通过预先设置的透视变换矩阵将对象位置和注意力欧拉角映射至所述三维空间。

6.根据权利要求5所述的实时课堂注意力检测方法，其特征在于，所述透视变换矩阵的获取方式为：

获取某一帧图像，取其中形成正方形的四个顶点作为基准点，基于该基准点与三维空间中对应正方形的坐标点间的关系，生成透视变换矩阵。

7.根据权利要求1所述的实时课堂注意力检测方法，其特征在于，所述注意力检测结果包括对象是否处于低头状态及对象是否存在注意力异常。

8.根据权利要求7所述的实时课堂注意力检测方法，其特征在于，将头部俯仰角低于α度的对象标注为低头状态，30°≤α≤60°。

9.根据权利要求7所述的实时课堂注意力检测方法，其特征在于，根据视线射线状态，将注意力斜率大于tan(θ/180)和集中度大于两倍平均集中度的对象标注为注意力异常，45°≤θ≤150°，其中，

所述注意力斜率为视线射线在三维空间的课堂平面上的投影的斜率；

所述集中度通过以下公式获取：

其中，f(x)表示集中度，x表示某一视线射线与黑板轴形成的交点的横坐标，l为中心横坐标，以各视线射线与黑板轴形成的交点的平均值记为所述中心。

10.一种实时课堂注意力检测系统，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器调用所述计算机程序执行如权利要求1-9任一所述方法的步骤。