[发明专利]基于表情行为特征提取的通过视频评估学习专注力的方法

说明书

本发明提出一种基于表情及行为特征提取的通过视频评估学习专注力的方法，首先通过人体骨骼点检测方法AlphaPose获取人体骨架，通过轻量化人脸检测模型检测人脸；接着将骨架编码转换为图像，通过神经网络分类器进行动作分类；将获取到的人脸框，先通过VGG‑A网络提取特征，再经过Segmentation网络进一步拟合得到精确的人脸位置，接着将人脸裁剪为多个区域，并使用CNN网络提取特征，通过自注意力模块对不同人脸区域进行加权，融合多个区域的局部特征形成整体特征进行表情分类；最后融合动作和表情识别结果，通过LSTM网络得到最终的专注力分析结果。其针对学生行为构建了有效的运动特征，相对传统的动作识别难以有效地解决视角差异和动作差异带来的问题。

技术领域

本发明属于机器学习与计算机视觉技术领域，尤其涉及一种基于表情及行为特征提取的通过视频评估学习专注力的方法。

背景技术

随着科技的发展，人们学习的途径越来越多，如网课教学、互动直播等，其中线上教学的方式最受大众欢迎，尤其是疫情期间，同学们都只能在家中学习，这更有力的推动了线上教育的发展。然而通过视频学习的方式难以保证学生的学习效率，老师家长也不能及时了解到学生的学习情况，教学质量无法保障。如何不在老师家长的监督下，有效的保证学生的学习质量成为现下最值得关注的问题之一。现如今的专注力研究方法，大多基于脑电波的监测，这对硬件要求十分的高，对学生来说也十分的不便。

发明内容

为了填补现有技术的空白，本发明提出一种基于表情及行为特征提取的通过视频评估学习专注力的方法，能够根据采集的图像对学生或其他用户的注意力特征进行有效的提取，并实现识别和评估。

本发明具体采用以下技术方案：

一种基于表情及行为特征提取的通过视频评估学习专注力的方法，其特征在于：首先通过人体骨骼点检测方法AlphaPose获取人体骨架，通过轻量化人脸检测模型检测人脸；接着将骨架编码转换为图像，通过神经网络分类器进行动作分类；将获取到的人脸框，先通过VGG-A网络提取特征，再经过Segmentation网络进一步拟合得到精确的人脸位置，接着将人脸裁剪为多个区域，并使用CNN网络提取特征，通过自注意力模块对不同人脸区域进行加权，融合多个区域的局部特征形成整体特征进行表情分类；最后融合动作和表情识别结果，通过LSTM网络得到最终的专注力分析结果。

进一步地，其具体包括以下步骤：

步骤S1：通过视频收集学生行为动作图像，进行数据增强处理，利用AlphaPose提取人体骨架信息，利用Ultra-Light-Fast-Generic-Face-Detector-1M提取人脸信息；

步骤S2：对人体骨架进行预处理，并将其编码转换为图像，构造运动特征，搭建神经网络分类器，并基于人体运动特征数据进行训练，将处理后的图像输入到训练好的神经网络分类器中进行分类，得到分类结果；

步骤S3：将获取的人脸信息，通过VGG-A预训练模型提取特征，然后通过Segmentation网络得到精确的人脸位置，将获取的人脸图像裁剪为25个区域，使用CNN卷积网络提取特征，通过自注意力模块对不同人脸区域进行加权，融合25个区域的局部特征形成整体特征进行表情分类；

步骤S4：融合动作和表情识别结果，通过LSTM网络计算学习专注力结果。

进一步地，在步骤S1中：

所述数据增强处理包括对学生行为动作图像进行随机角度翻转、裁剪、镜像的处理，从而获得学生行为数据集；

所述AlphaPose是自上而下的人体骨架关键点检测模型，运用了RMPE框架，由对称空间变换器网络SSTN、参数姿势非最大抑制PNMS、姿势引导建议发生器PGPG的模块组成；

所述SSTN即对称空间变换网络，由STN，SDTN两部分组成，STN用于接收人体候选框，SDTN产生候选姿态；