[发明专利]一种智慧教育用学习监护系统

权利要求书

1.一种智慧教育用学习监护系统，其特征在于，包括：

照明模块，用于为学习者提供学习光源；

视频采集模块，用于采集学习者所在环境的场景视频；

活动预测模块，用于获取所述场景视频，基于所述场景视频生成关于所述学习者和其余目标的空间位置关系的空间与或图模型，从所述空间与或图模型中提取表征所述学习者的活动状态的子活动标签集，并将所述子活动标签集输入预先得到的时间与或图模型，得到所述学习者未来活动的预测结果，并将所述预测结果发送给学习控制模块；其中，所述目标包括所述学习者、学习桌、座椅、显示屏、书、本；

学习时长计算模块，用于基于所述空间与或图模型，计算所述学习者的学习时长，并将所述学习时长发送给所述学习控制模块；

所述学习控制模块，用于基于所述预测结果和/或所述学习时长，进行对应的学习控制。

2.根据权利要求1所述的系统，其特征在于，所述基于所述场景视频生成关于所述学习者和其余目标的空间位置关系的空间与或图模型，从所述空间与或图模型中提取表征所述学习者的活动状态的子活动标签集，并将所述子活动标签集输入预先得到的时间与或图模型，得到所述学习者未来活动的预测结果，包括：

对所述场景视频中的目标进行检测和跟踪，生成空间与或图模型；

对所述空间与或图模型利用子活动提取算法得到表征所述学习者与其余关注目标的活动状态的子活动标签集；其中，所述关注目标包括所述学习者；

将所述子活动标签集输入预先得到的时间与或图模型，得到所述学习者未来活动的预测结果；其中，所述时间与或图模型是利用预先建立的所在环境的目标的活动语料库得到的。

3.根据权利要求2所述的系统，其特征在于，所述对所述场景视频中的目标进行检测和跟踪，生成空间与或图模型，包括：

利用预先训练得到的目标检测网络对所述场景视频中的目标进行检测，得到所述场景视频的每一帧图像中各目标分别对应的属性信息；其中，所述属性信息包括包含所述目标的边界框的位置信息，以及所述目标的类别信息；

基于所述每一帧图像中各目标分别对应的属性信息，利用预设的多目标跟踪算法对所述场景视频的各帧图像中的相同目标进行匹配；

确定每一帧图像中，所述学习者与不同目标之间的实际空间距离；

利用匹配后各帧图像对应的目标的所述属性信息以及所述实际空间距离，生成所述空间与或图模型。

4.根据权利要求3所述的系统，其特征在于，所述利用预先训练得到的目标检测网络对所述场景视频中的目标进行检测，得到所述场景视频的每一帧图像中各目标分别对应的属性信息，包括：

针对所述场景视频的每一帧图像，利用所述目标检测网络的密集连接主干网络进行特征提取，得到3个特征图；

将所述3个特征图利用所述目标检测网络的FPN网络进行自顶向下，密集连接形式的特征融合，得到该帧图像中各目标分别对应的属性信息；其中，所述目标检测网络基于YOLO_v3网络构建。

5.根据权利要求4所述的系统，其特征在于，所述密集连接主干网络包括多个间隔串联的密集连接模块以及过渡模块；所述密集连接模块包括串联的卷积网络模块以及密集连接单元组，且所述密集连接模块的数量至少为三个，所述密集连接单元组包括多个密集连接单元；所述卷积网络模块包括依次连接的卷积层、BN层以及Leaky relu层；所述密集连接单元包括多个密集连接的所述卷积网络模块，并采用级联方式融合多个所述卷积网络模块输出的所述3个特征图。

6.根据权利要求5所述的系统，其特征在于，所述将所述3个特征图利用所述目标检测网络的FPN网络进行自顶向下，密集连接形式的特征融合，包括：

针对所述FPN网络中的预测支路Y_i，从所述3个特征图中，获取对应尺度的特征图并进行卷积处理，将卷积处理后的所述特征图，与预测支路Y_i-1～Y₁分别经上采样处理后的所述特征图进行级联融合；其中，预测支路Y_i-j的上采样倍数为2^j；i＝2、3；j为小于i的自然数。