[发明专利]基于头部姿态和空间注意力的视线区域估计方法及系统

权利要求书

1.基于头部姿态和空间注意力的视线区域估计方法，其特征是，包括：

利用原特征检测网络对输入图像进行人脸检测，获得人脸输出；

基于人脸输出，提取驾驶员面部关键点特征，并基于提取的驾驶员面部关键点特征获得其头部姿态特征；

针对获得的头部姿态特征进行眼区加权编码，增强眼睛区域的信息；所述针对获得的头部姿态特征进行眼区加权编码，具体包括利用眼区加权编码模块对眼区加权编码，所述眼区加权编码模块包括内核大小为7的三个附加2×1卷积层，后接一个sigmoid非线性激活函数；所述眼区加权编码模块的输入是激活张量最终生成空间权重矩阵其中，N是训练批次的个数；U_P为原特征检测网络的输出；原特征检测网络为对最初在ImageNet数据集上训练的SqueezeNet网络进行微调，并结合BN层和卷积层进行联合训练，添加Dropout层所形成的；

该计算过程可被表述为：

V_P＝Conv(Max(U_p(w_i，h_i))∪Avg(U_p(w_i，h_i)))

其中，w_i和h_i是输出特征的宽度和高度；

将空间权重矩阵V_P与原特征检测网络的输出U_P进行沿通道方向进行逐元素相乘，得到面部加权特征图；

针对面部加权特征图，使用全局平均池层聚集空间信息，并连接全连接层将其压缩成编码特征矩阵；

将获得的头部姿态特征与编码特征矩阵融合到一起，获得视线区域估计。

2.如权利要求1所述的基于头部姿态和空间注意力的视线区域估计方法，其特征是，对输入图像提取驾驶员面部关键点特征时，首先设定驾驶员检测区域，之后裁剪区域中的每张图像的人脸；

从裁剪区域检测到包括面部轮廓、眼睛、眉毛、鼻子和嘴唇的坐标。

3.如权利要求1所述的基于头部姿态和空间注意力的视线区域估计方法，其特征是，基于提取的驾驶员面部关键点特征获得其头部姿态特征，具体包括：

采用3D头部通用模型与提取的驾驶员面部关键点坐标之间的对应转换关系，得到3D空间中的旋转矩阵，通过旋转矩阵得到由欧拉角表示的3D头向量。

4.如权利要求1所述的基于头部姿态和空间注意力的视线区域估计方法，其特征是，计算得到3D头姿向量后，对头部姿态信息进行标定和归一化，减少由相机位置和成像角度引起的差异，具体包括：

计算在每个注视区域中出现最多的头部姿态角，该角度被设置为初始姿态，从所有其他头部姿态角中减去该初始姿态，进行标准化处理；

经标准化处理后的头姿被归一化成一维向量。

5.驾驶员状态监控系统，其特征是，包括：

摄像头，实时捕捉驾驶员当前的图像；

工控机，采用权利要求1-4任一所述的基于头部姿态和空间注意力的视线区域估计方法获得估计概率最大的视线区域值；

基于获得视线区域估计来监测驾驶员是否处于分心驾驶状态；

显示器，将该估计结果与驾驶员的面部图像同时实时显示。