[发明专利]学习参与度识别网络模型的建立方法及装置

说明书

本文提供了一种学习参与度识别网络模型的建立方法及装置，方法包括：对获取的多个视频样本进行预处理，得到融合特征；根据所述视频样本的融合特征，构建学习参与度识别网络模型训练用的最小批；依据所述最小批中视频样本对的嵌入向量距离与所述最小批中视频样本对的参与度标签距离一致性有序的原则，构造有序度量损失函数，其中，所述嵌入向量由所述学习参与度识别网络模型根据视频样本的融合特征计算得到；根据所述有序度量损失函数，优化所述学习参与度识别网络模型中的参数。本文能够提高学习参与度识别的准确度。

技术领域

本文涉及人工智能领域，尤其涉及一种学习参与度识别网络模型的建立方法及装置。

背景技术

参与是情感状态的一种，它包括情感参与、行为参与、认知参与等方面。学习参与度是教师与学生通过教育、教学活动的相互作用所表现出的结果，是评估学生学习参与情况的重要指标。在传统教育中，教师可以直接观察学生的行为判断学生的参与度，但无法同时全面地观察到每一个学生。随着电子学习环境在教育领域的出现，在线教育提供了一种全新的知识传播模式和学习方式。线上教育平台利用丰富的网络信息资源进行教育活动，师生间的教与学可以不受时间和空间的限制，知识获取方式更加灵活化与多样化。然而，基于网络课程的远程性质和庞大规模，在线教育普遍存在辍课率高和完成率低的现象，因此，急需一种线上学习参与度识别方法以提供学生在线学习反馈和指导教师的干预。由此可见，进行参与度识别研究对提高在线学习质量具有重大意义。

参与度识别与人脸识别等其他分类任务相比较，具有参与度标签有序性的特点。目前度量学习方法在解决标签有序的分类问题时，一般都是通过将连续标签量化为二分类标签（相似或不相似），并没有充分利用连续标签视频或图像中丰富的相似性语义信息，并且需要对量化相似性的阈值进行仔细调整。另外，参与度识别这个任务存在严重的样本数据分布不均衡问题，无论是在线学习环境还是传统课堂，大多数受教育者都能认真听讲保持较高的参与程度，只有少数受教育者不专心而有较低的参与程度。

在线学习环境中，参与度识别可以基于各种数据模式实现，如学生上课的反应、面部表情或身体动作，甚至是先进的生理和神经测量，而利用图像采集设备记录学生在线学习过程是捕获学生数据特征的一个很好的方式。2014年Whitehil等人利用视频分析人脸特征，并构建了用于参与度预测的SVM分类器；2017年Monkaresi等人同时收集22名学生的面部视频和心率数据，并将面部跟踪特征、LBP-TOP特征和心率特征一起用于构造机器学习模型和参与度预测；Niu等人采用OpenFace进行面部表情（AU）、头部姿态特征（Head Pose）以及眼睛凝视特征（Eye Gaze）提取，设计提出了Gaze-AU-Pose特征用于参与度识别任务。

随着深度学习的快速发展，深度度量学习方法被广泛应用于包含人脸识别、图像分类、行人再识别等任务，充分验证了它对于解决视觉分类和识别这类任务的有效性。目前对深度度量学习方法的研究主要分为两个方向，一个方向是对深度网络结构的设计与优化，另一个更重要的方向则是对目标损失函数的改进，常用的损失函数包含对比损失、三元组损失、四元组损失、N-Pair损失以及Rank损失，它们目标都是约束使得在嵌入空间中，正样本的距离尽可能小，同时负样本的距离尽可能大。

现有技术中学习参与度识别方法并未考虑参与度识别任务的特点（例如样本数据分布不均衡、连续视频或图像有丰富的相似性语义信息等等），具有识别准确率低的缺陷。

发明内容

本文用于解决现有技术中学习参与度识别方法并未考虑参与度识别任务的特点，具有识别准确率低的缺陷。

为了解决上述技术问题，本文的第一方面提供一种学习参与度识别网络模型的建立方法，包括：

对获取的多个视频样本进行预处理，得到所述视频样本的融合特征；

根据所述视频样本的融合特征，构建学习参与度识别网络模型训练时的最小批；