[发明专利]基于视觉的教学注意力监测系统及方法

权利要求书

1.一种基于视觉的教学注意力监测系统，其特征在于所述的系统包括第一摄像头、第二摄像头与第三摄像头，所述第一摄像头、第二摄像头与第三摄像头分别接入中央处理单元，所述中央处理单元还接入后台录像分析单元，所述第一摄像头、第二摄像头与第三摄像头用于呈品字形安装在教学区域内，其中：

所述第一摄像头、第二摄像头与第三摄像头用于分别采集教学区域内的图像并传输至中央处理单元；

所述中央处理单元用于通过图像处理器分别对第一摄像头、第二摄像头与第三摄像头采集到的图像进行yolo检测，识别出图像中的各个人体目标，并形成检测结果S1、S2、S3；

所述中央处理单元还用于将检测结果S1、S2、S3映射到教学区域的三维坐标系下并汇总，得到总结果S；

所述中央处理单元还用于将总结果S中的各个人体目标提取出来记为Srois，并通过Srois中每个人体目标所在点的坐标值P（x，0，z），由下式得到人体目标头部的高度h，从而得到人体目标头部在坐标系中的坐标值Ph（x，y，z）并传输至后台录像分析单元；

P(X+W/2,Z+H/10)

上式中，W为教学区域的宽度，H为教学区域的长度，X与Z 分别为P点所在坐标系中在X轴与Y轴上的值；

所述后台录像分析单元用于通过Insightface从所述Srois中得出人体目标头部的姿态值HRt(rx,ry,rz)；然后通过下式得到人体目标的视线与教学区域前部黑板墙之间的交点Ep(x,y)；

Epx=Phz×tan（ry）+Phx，EPy= Phz×tan（rx）+Phy

上式中，Phz为人体目标头部在坐标系中的Z轴上的值，ry为人体目标头部的姿态值HRt在y轴上的值，Phx为人体目标头部在坐标系中的X轴上的值，rx为人体目标头部的姿态值HRt在x轴上的值，Phy为人体目标头部在坐标系中的Y轴上的值。

2.根据权利要求1所述的基于视觉的教学注意力监测系统，其特征在于：所述中央处理单元将检测结果S1、S2、S3映射到教学区域的三维坐标系下并汇总时，如出现图像重叠，则删除置信度低的人体目标图像。

3.根据权利要求1或2所述的基于视觉的教学注意力监测系统，其特征在于：所述中央处理单元形成的处理结果S1、S2、S3中包括各个人体目标的二维坐标位置、人体目标的脸部图像以及人体目标图像的置信度信息。

4.根据权利要求1所述的基于视觉的教学注意力监测系统，其特征在于：所述的第一摄像头安装在教学区域的前端，所述第二摄像头与第二摄像头分别安装在教学区域的左右两侧，且所述第一摄像头、第二摄像头与第三摄像头在教学区域的三维坐标系中的坐标值分别为(W/2,height,0)、(0,height,H/3*2)、(W,height,H/3*2)；

式中，W为教学区域的宽度，H为教学区域的长度，height为摄像头的安装高度。

5.根据权利要求1所述的基于视觉的教学注意力监测系统，其特征在于：所述后台录像分析单元还用于通过Insightface识别Srois中人体目标的脸部图像，进行目标身份证验证；所述后台录像分析单元还用于通过DeepPose识别Srois中的人体目标姿态，且根据人体目标姿态判断当前教学区域内人体目标是否存在异常状态。