[发明专利]基于头部姿态和空间注意力的视线区域估计方法及系统

说明书

本公开提出了基于头部姿态和空间注意力的视线区域估计方法及系统，包括：对输入图像提取驾驶员面部关键点特征，并基于提取的驾驶员面部关键点特征获得其头部姿态特征；针对获得的头部姿态特征进行眼区加权编码，增强眼睛区域的信息；将获得的头部姿态特征与编码特征融合到一起，获得视线区域估计；基于获得视线区域估计来监测驾驶员是否处于分心驾驶状态。本发明解决了头部姿态属性和面部特征编码等不平衡特征融合准确率低的问题。

技术领域

本公开属于状态监测技术领域，尤其涉及驾驶员状态监测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

先进的ADAS在减少因驾驶员分心驾驶而引起的交通事故中起越来越重要的作用。越来越多的撞车事故导致人们对ADAS的视线估计问题越来越关注。但是视线区域估计仍然存在一些困难，包括头部姿势影响，车内采集相机的捕捉方向，眼镜遮挡等。这些困难使得驾驶员的视线区域估计任务的精度较低。

正如Vora等人在《IEEE Intelligent Vehicles Symposium》2020年中发表的论文《Driver Gaze Estimation in the Real World:Overcoming the Eyeglass Challenge》中所描述的，可以通过眼镜移除模型来克服眼镜对视线区域估计的影响。然而，这些方法缺少头部姿势信息。当驾驶员的视线聚焦在左车窗或其他头部角偏转较大的区域上时，视线方向是头部偏转角和眼睛偏转角的总和。因此，头部姿势与每个注视区域中的驾驶员注视密切相关。其次，Krafka等人发表的论文《Eye Tracking for Everyone》提出结合眼睛和全脸区域的信息可以提高网络性能。然而，面部哪些区域需要分配更多网络权重仍然是要解决的问题。

总之，驾驶员视线估计任务是一个具有挑战性的计算机视觉任务，对ADAS(Advanced Driver Assistance Systems智能辅驾系统)至关重要。在基于视觉的驾驶员监控系统中，粗略的视线区域估计成为了流行的一个研究课题。但是视线区域估计问题仍然面临着一些特殊挑战，包括光照影响、驾驶员眼镜遮挡、车内数据采集相机捕捉角度、头部姿态变化以及实时的需求等。

发明内容

为克服上述现有技术的不足，本公开提供了基于头部姿态和空间注意力的视线区域估计方法，基于头部姿态辅助监控和眼部区域加权编码进行视线估计，通过检测当前的视线区域来监测驾驶员是否处于分心驾驶状态。

为实现上述目的，本公开的一个或多个实施例提供了如下技术方案：

第一方面，公开了基于头部姿态和空间注意力的视线区域估计方法，包括：

对输入图像提取驾驶员面部关键点特征，并基于提取的驾驶员面部关键点特征获得其头部姿态特征；

针对获得的头部姿态特征进行眼区加权编码，增强眼睛区域的信息；

将获得的头部姿态特征与编码特征融合到一起，获得视线区域估计；

基于获得视线区域估计来监测驾驶员是否处于分心驾驶状态。

进一步的技术方案，对输入图像提取驾驶员面部关键点特征时，首先设定驾驶员检测区域，之后裁剪区域中的每张图像的人脸；

从裁剪区域检测到包括面部轮廓、眼睛、眉毛、鼻子和嘴唇的坐标。

进一步的技术方案，基于提取的驾驶员面部关键点特征获得其头部姿态特征，具体包括：

采用3D头部通用模型与提取的驾驶员面部关键点坐标之间的对应转换关系，得到3D空间中的旋转矩阵，通过旋转矩阵得到由欧拉角表示的3D头向量。

进一步的技术方案，计算得到3D头姿向量后，对头部姿态信息进行标定和归一化，减少由相机位置和成像角度引起的差异，具体包括：