[发明专利]一种注视检测方法、装置、设备及存储介质

说明书

本申请公开一种注视检测方法、装置、设备及存储介质，本申请通过获取目标相机采集的目标对象的基准图像和参考图像，以及目标相机的内外参；基于基准图像对应的像素坐标系，构建基准图像对应的头部坐标系；确定第一坐标转换关系；基于目标对象的双眼瞳孔中心在基准图像和参考图像各自对应的像素坐标系中的第一像素坐标、第二像素坐标，以及目标相机的内外参，确定目标对象的双眼瞳孔中心在基准图像对应的相机坐标系中的第一相机坐标；基于平均人脸模型和基准图像对应的头部坐标系确定目标对象的双眼眼球中心，以及目标对象的双眼眼球中心的第一头部坐标；确定基准图像对应的相机坐标系中的目标对象的视线方向和注视点，可以实现利用相机作为采集设备。

技术领域

本发明涉及注视检测领域，尤其涉及注视检测方法、装置、设备及存储介质。

背景技术

注视检测是一种通过机械、电子、光学等检测手段获取受试者视线方向的技术。随着眼动技术研究的不断发展，研究者们摒弃了侵入式的检测装备，利用外设的相机等设备获取人脸与人眼图像，通过对人脸与人眼图像进行处理与分析，估算出视线的方向。视线作为人的兴趣点和关注点的一种直接表达，可以反应人的心理与生理的状态，这使得视线检测技术在人机交互、医学诊断、人因分析、虚拟现实等多个领域都有着广泛的应用。

根据采集设备的放置方式可将视线检测方法分为侵入式视线检测方法和非侵入式视线检测方法。现有技术中视线跟踪方式有侵入式的，如通过在人眼边缘布置电极获取电位差估计眼球运动的眼电图法。侵入式视线跟踪方法的缺点在于长时间使用会使人产生不适，且存在信号不稳定的问题。非侵入式装置大多采用注视点检测方法和三维视线检测方法。注视点检测方法可以估算受试者在手机屏幕、pad屏幕、电脑屏幕等二维平面上的注视点。

根据视线特征提取方式可将三维视线检测方法分为基于几何的视线检测方法和基于表征的视线检测方法。基于表征的方法直接学习眼部图像到视线的映射关系，通常使用机器学习或者深度学习，通过对大量标记有视线方向真值的数据进行训练得到映射模型，但需较大算力，不适用于运算能力较差的平台。基于几何的方法需要提取眼睛的一些显著或具有一定不变性的局部特征,如瞳孔轮廓、虹膜和巩膜的异色边缘、眼角和角膜反射(红外光照射产生)等，该类方法对采集的图像质量和分辨率有较高的要求，需要额外红外照明。上述方法需要依靠较高算力和硬件设备，计算复杂、成本高。

发明内容

为了解决上述技术问题，本发明提供一种注视检测方法、装置、设备及存储介质，可以实现利用相机作为采集设备，对目标对象进行注视检测，确定目标对象的视线方向和注视点。

为了达到上述申请的目的，本申请提供了一种注视检测方法，该方法包括：

获取目标相机采集的目标对象的基准图像和参考图像，以及所述目标相机的内外参；

基于所述基准图像对应的像素坐标系，构建所述基准图像对应的头部坐标系；

确定所述基准图像对应的头部坐标系和所述基准图像对应的相机坐标系之间的第一坐标转换关系；

基于所述目标对象的双眼瞳孔中心在所述基准图像和所述参考图像各自对应的像素坐标系中的第一像素坐标、第二像素坐标，以及所述目标相机的内外参，确定所述目标对象的双眼瞳孔中心在所述基准图像对应的相机坐标系中的第一相机坐标；

基于平均人脸模型和所述基准图像对应的头部坐标系确定所述目标对象的双眼眼球中心，以及所述目标对象的双眼眼球中心在所述基准图像对应的头部坐标系中的第一头部坐标；

基于所述第一头部坐标，以及所述第一坐标转换关系，确定所述目标对象的双眼眼球中心在所述基准图像对应的相机坐标系中的第二相机坐标；

基于所述第一相机坐标，以及所述第二相机坐标，确定所述基准图像对应的相机坐标系中的目标对象的视线方向和注视点。

另一方面，本申请还提供注视检测装置，该装置可以包括：