[发明专利]一种室外队列训练头部注意力分析方法、装置、设备和介质

说明书

本发明涉及一种室外队列训练头部注意力分析方法、装置、设备和介质，其中，方法包括以下步骤：获取连续三个时刻的学生人脸图像区域；根据所述图像区域，分别计算各时刻帧的人脸空间特征向量和朝向姿态6D矩阵；基于所述朝向姿态6D矩阵得到朝向姿态欧拉角度；计算连续一个时间周期帧的所述人脸空间特征向量的平均欧式距离度和所述朝向姿态欧拉角度的平均差值；判断注意力是否集中，当人脸空间特征向量的平均欧式距离度超过预配置的第一阈值，或朝向姿态欧拉角度平均差值超过预配置的第二阈值时，判定为注意力不集中，反之，则判定为注意力集中。与现有技术相比，本发明具有回归结果连续、计算简便等优点。

技术领域

本发明涉及图像处理技术，尤其是涉及一种室外队列训练头部注意力分析方法、装置、设备和介质。

背景技术

队列训练是指按照教官的指令规定内容进行的制式动作训练，它是一种军事体育运动，中学生参与队列训练目的是为了接受国防教育和培养集体主义荣誉感。在传统的室外队列训练中，对于学生训练行为的观察、分析、评估手段大多停留在传统的人工观察的基础上，其评价结果较为主观，且由于每个队伍人数过多、站队密集，人工观察分析无法在每一时刻都关注到所有学生的变化，因此也无法精准记录错误动作的时刻以帮助学生调整训练姿态。如果可以借助计算机辅助手段对教学成果进行人工智能检测、分析和评估，则可以帮助教官精准了解学生训练效果，包括注意力集中度和动作标准评估结果。

评估的难点在于：①在应用场景中由于摄像头拍摄画面大多数都是侧视角，导致在监测画面中都是大视角的姿态估计。②在计算机视觉的单目头部姿态估计方法中，都是以正向相对于摄像机为正视角，以图像中心点为原点，以右手螺旋法则为正方向的头部姿态计算，而实际应用于行进的队列训练过程中会发现头部姿态估计参数本身是不断变化的，不能设定固定值来判断是否发生头部偏转。

在传统的单目视觉头部姿态估计问题中，一般定义其为一个回归预测的任务。回归的结果表示值中，被广泛使用的姿态表示法包括欧拉角、四元数等表示法，但这两种表示法其实都存有偏差，本质是离散的，无法与原始的三维旋转矩阵进行满态一一映射。其中，欧拉角存在奇异性问题，同一个姿态通过两种旋转方向和不同角度映射得到同样的姿态，导致预测不准；四元数法虽然没有奇异性问题，但存在反模式问题。此外，有数理证明，任何小于五维的三维旋转表示都是不连续的，神经网络难以学习，这意味着欧拉角、四元数等表示方法都不适合神经网络中的回归任务学习。而如果直接回归3x3的三维旋转矩阵，需要回归九个参数，但是真正有用的只有六个需要预测的变量，3个方向上的旋转夹角和偏移量，计算复杂。此外，现有的评估缺少对面部表情变化的考虑。

综上所述，目前的头部姿态估计方法的回归参数多、计算复杂，而且无法保证回归结果的连续性。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供的一种回归结果连续、计算简便的室外队列训练头部注意力分析方法、装置、设备和介质。

本发明的目的可以通过以下技术方案来实现：

根据本发明的第一方面，提供了一种室外队列训练头部注意力分析方法，包括以下步骤：

获取连续三个时刻的学生人脸图像区域；

根据所述图像区域，分别计算各时刻帧的人脸空间特征向量和朝向姿态6D矩阵，其中，所述朝向姿态6D矩阵的计算过程为：

根据所述图像区域得到第一图像输入张量，基于预先训练好的6DHPENet自定义头部姿态网络模型对所述第一图像输入张量进行卷积，得到第一特征图；

对所述第一特征图进行降维，得到第一特征向量，将所述第一特征向量输入一层输出为6维的全连接神经网络层，得到朝向姿态6D矩阵；

基于所述朝向姿态6D矩阵得到朝向姿态欧拉角度，所述欧拉角度包括人脸朝向姿态绕y轴旋转的偏航角度、人脸朝向姿态在绕x轴旋转的俯仰角度和人脸朝向姿态绕z轴旋转的滚动角度；