[发明专利]基于视线估计的在线学习注意力跟踪方法及其应用

权利要求书

1.一种基于视线估计的在线学习注意力跟踪方法，其特征在于，包括：

获取待检测对象的面部图像、眼睛图像和双眼红外图像，以及待检测对象所处学习环境的场景图像；所述场景图像由设置在待检测对象头部的场景相机采集得到，场景图像中包含与待检测对象进行交互的学习设备的图像；

将所述面部图像、眼睛图像和双眼红外图像输入训练好的视线估计识别模型中，获得相机坐标系下待检测对象双眼的三维注视方向；

将相机坐标系下的所述三维注视方向转换为学习设备所处的屏幕坐标系下的二维注视点；

根据所述二维注视点与场景图像中预先划分的学习区域的位置关系，生成待检测对象当前的注意力检测结果。

2.如权利要求1所述的在线学习注意力跟踪方法，其特征在于，所述将所述面部图像、眼睛图像和双眼红外图像输入训练好的视线估计识别模型中，获得相机坐标系下待检测对象双眼的三维注视方向，具体包括：

对面部图像进行特征提取，生成对应的头部姿态特征向量；

对眼睛图像进行特征提取，生成对应的眼睛特征向量；

对双眼红外图像眼睛进行特征提取，生成对应的双眼红外特征向量；

将所述头部姿态特征向量、眼睛特征向量和双眼红外特征向量进行拼接，得到融合特征向量，根据所述融合特征向量生成待检测对象在相机坐标系下双眼的三维注视方向。

3.如权利要求1所述的在线学习注意力跟踪方法，其特征在于，所述将相机坐标系下的所述三维注视方向转换为学习设备所处的屏幕坐标系下的二维注视点，包括：

根据所述三维注视方向和三维注视原点计算待检测对象的双眼在相机坐标系下的三维目标注视点；所述三维注视原点为待检测对象的面部中心或眼球中心；计算公式如下：

其中，g表示相机坐标系下的三维注视方向，g＝(g_x,g_y,g_z)，g_x、g_y、g_z分别表示眼球中心在三维空间下的坐标；o表示三维注视原点；t表示相机坐标系下的三维目标注视点；

获取相机坐标系与屏幕坐标系之间的空间转换矩阵，根据所述空间转换矩阵和三维目标注视点生成待检测对象的双眼在屏幕坐标系下的二维注视点；计算公式如下：

t＝Rs[u,v,0]^T+Ts

其中，{Rs,Ts}代表空间转换矩阵，Rs是旋转矩阵，Ts是平移矩阵；(u,v)表示屏幕坐标系下的二维注视点；[·]^T代表矩阵的转置运算。

4.如权利要求3所述的在线学习注意力跟踪方法，其特征在于，所述视线估计识别模型的训练过程包括：

获取训练样本，所述训练样本具有真实的三维注视方向标签；

将所述训练样本及其对应的三维注视方向标签输入视线估计识别模型中，通过待训练的视线估计识别模型输出训练样本对应的预测视线方向；

根据所述预测视线方向及三维注视方向标签计算损失函数，反向调整所述待训练的视线估计识别模型的模型参数，直至所述损失函数最小化，得到训练好的视线估计识别模型。

5.如权利要求3所述的在线学习注意力跟踪方法，其特征在于，所述损失函数为：

其中，L表示损失函数；g_gt(I)表示三维注视方向标签；g_p(I)表示预测视线方向；I表示训练样本；D表示训练数据集，|·|为基数运算符。

6.如权利要求4所述的在线学习注意力跟踪方法，其特征在于，还包括：

在视线估计识别模型的训练过程中，使用余弦退火重启动学习率机制对模型的学习率进行动态调整。