[发明专利]基于可穿戴设备和多模态智能分析的学生注意力分析系统

权利要求书

1.基于可穿戴设备和多模态智能分析的学生注意力分析系统，其特征在于，包括如下步骤：

S1、利用头戴式设备获取学生当前关注视场的彩色视频数据及头部姿态信息；

S2、将获取的彩色视频数据和头部姿态信息进行编码，并通过无线网络进行传输；

S3、多模态智能分析服务器通过无线网络传输获得编码后的数据，再进行解码，得到学生当前关注视场的彩色视频数据及头部姿态数据；

S4、利用基于深度神经网络的多目标检测器对彩色视频数据进行目标检测，获得注意力关注对象的检测结果；

S5、融合注意力关注对象的检测结果和头部姿态数据，得到学生当前注意力分析的结果；

S6、经过一段时间的分析统计后，将学生的注意力分析结果进行显示和上报。

2.根据权利要求1所述的基于可穿戴设备和多模态智能分析的学生注意力分析系统，其特征在于，所述步骤S1中的头戴式设备包括：用于采集彩色视频数据的摄像机、用于采集头部姿态数据的加速度电子陀螺仪、用于数据传输的无线网络模块和用于为摄像机、加速度电子陀螺仪和无线网络模块供电的电池模块。

3.根据权利要求1所述的基于可穿戴设备和多模态智能分析的学生注意力分析系统，其特征在于，所述步骤S3中所述的多模态智能分析服务器包括CPU、GPU、内存、硬盘和无线路由器。

4.根据权利要求1所述的基于可穿戴设备和多模态智能分析的学生注意力分析系统，其特征在于，步骤S4中所述的基于深度神经网络的多目标检测器为YOLOV3模型。

5.根据权利要求1或4所述的基于可穿戴设备和多模态智能分析的学生注意力分析系统，其特征在于，步骤S4中所述的注意力关注对象至少包括教师和投影仪幕布两种。

6.根据权利要求5所述的基于可穿戴设备和多模态智能分析的学生注意力分析系统，其特征在于，在S4步骤中，还包括通过搜集人和投影仪幕布两种图像来训练基于深度神经网络的多目标检测器、进行实时检测视频中人和投影仪幕布两种目标位置的步骤。

7.根据权利要求1所述的基于可穿戴设备和多模态智能分析的学生注意力分析系统，其特征在于，步骤S5中所述的头部姿态数据包括头部当前3个姿态角、3个角速度和3个加速度。

8.根据权利要求1所述的基于可穿戴设备和多模态智能分析的学生注意力分析系统，其特征在于，步骤S5中所述的融合指的是：通过注意力关注对象的检测结果可知学生视场的中心是否对准教师或是投影仪幕布，量化抽象得到一个关注度值，同样，通过学生的头部姿态数据，量化抽象得到一个学生姿态值，经过对关注度值和学生姿态值加权相加后得到最终的学生注意力值。