[发明专利]视线识别模型的训练方法、视线识别方法、装置及设备

说明书

本发明涉及一种视线识别模型的训练方法、视线识别方法、装置及设备，方法包括获取样本图像集，样本图像集包括含有第一区域和第二区域的样本图像，将样本图像输入预设机器学习模型，进行视线识别处理，得到第一区域对应的第一视线信息以及第二区域对应的第二视线信息，基于第一视线信息，确定第二区域对应的第三视线信息，基于第二视线信息和第三视线信息，确定第一损失信息，根据第一损失信息，确定损失信息，基于损失信息调整预设机器学习模型中的模型参数，至损失信息满足预设条件，将满足预设条件时的预设机器学习模型作为视线识别模型。本发明可以在不增加视线识别模型规模的前提下，提高视线识别模型识别视线的精确性。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种视线识别模型的训练方法、视线识别方法、装置及设备。

背景技术

研究表明，人获取的约80％的外界信息来自人眼，人眼获取物体信息的方式是通过转动眼球使得物体最清晰的像出现在视网膜的中心凹中，中心凹与角膜中心的连线即为视线。由于视线具有直接性、自然性和双向性等特点，近年来成为研究热点，以使其可以很好地应用于各类场景。例如，可以应用在人机交互场景中，利用视线移动方向控制机器，弥补残疾人和老年人生理上的不便，也可以应用在安全驾驶场景中，通过跟踪驾驶员视线，评估驾驶员驾驶状态以预防事故，还可以应用在传媒场景中，通过采集视线停留广告的时间长度，确定用户的兴趣点。

现有的视线估计方法主要包括基于表观appearance-based的方法和基于几何模型model-based的方法。两种方法均可以采用3D视线估计和2D视线估计两种方式，3D视线估计预测视线的三维视线方向，2D视线估计预测视线在预设平面的坐标。

由于深度学习技术的兴起，基于表观的方法可以采用卷积神经网络从单眼回归视线，根据眼部关键点、相机内参和三维平均脸模型对原始图片进行归一化，以减小头部姿态对视线估计的影响。然而，当卷积神经网络的输入仅有眼部区域，缺少脸部其他有用区域时，将使得输出的视线估计的准确度降低。基于此，可以将卷积神经网络的输入从眼部区域扩展至全脸区域来进行视线回归，并在卷积神经网络中增加注意力机制，增加眼部区域的权重和脸部区域的权重，削弱背景等无用区域的权重，以提高视线估计的准确度。此外，还可以通过多个卷积神经网络合并训练，即对视线回归进行拆分，具体可以先利用一个网络对图片进行提取，以提取头部姿态、人脸关键点、脸部深度图和眼部区域等，之后再利用另一个网络基于提取的特征进行视线回归，以得到视线估计。

在基于卷积神经网络进行视线估计的方法中，不需要额外设计眼部特征就可以估计视线，相较于基于表观的方法具有较强的适用性。虽然，单独输入眼部区域或者输入全脸区域可以使得卷积神经网络获得丰富的特征信息，但是在设计上将引入复杂的框架结构，多个卷积神经网络合并训练的方法也将使得视线估计变得复杂，且难以保证输出视线信息的准确性。

发明内容

本发明实施例提供一种视线识别模型的训练方法、视线识别方法、装置及电子设备，可以在不增加视线识别模型规模的前提下，提高视线识别模型识别视线的精确性。

本发明实施例提供了一种视线识别模型的训练方法，该训练方法包括：

获取样本图像集；样本图像集包括样本图像；样本图像包括第一区域和第二区域；

将样本图像输入预设机器学习模型，进行视线识别处理，得到第一区域对应的第一视线信息以及第二区域对应的第二视线信息；

基于第一视线信息，确定第二区域对应的第三视线信息；

基于第二视线信息和第三视线信息，确定第一损失信息；

根据第一损失信息，确定损失信息；

基于损失信息调整预设机器学习模型中的模型参数，至损失信息满足预设条件，将满足预设条件时的预设机器学习模型作为视线识别模型。

进一步地，基于第一视线信息，确定第二区域对应的第三视线信息，包括：