[发明专利]一种基于混合注意力机制的单眼注视点估计方法及系统

说明书

本发明公开了一种基于混合注意力机制的单眼注视点估计方法及系统，涉及卷积神经网络以及图像处理技术领域，该方法包括：获取目标人脸图像信息；目标人脸图像信息包括目标人脸图像、目标单眼图像以及目标单眼图像在目标人脸图像上的位置信息；基于目标人脸图像信息和单眼注视点估计模型，确定目标人脸图像对应的单眼注视点预测信息；单眼注视点估计模型是基于混合注意力机制的卷积神经网络确定的；该卷积神经网络包括第一卷积、第二卷积和全连接层；第一卷积和第二卷积均包括多个且依次连接的卷积注意力单元；该卷积注意力单元包括依次连接的卷积层、通道注意力子单元和空间注意力子单元。本发明能够准确预测单眼的注视点信息。

技术领域

本发明涉及卷积神经网络以及图像处理技术领域，特别是涉及一种基于混合注意力机制的单眼注视点估计方法及系统。

背景技术

视觉是人类获取外部信息最主要的方式之一。目前，人眼的注视点估计研究在很多领域都有重要应用，如：显著性检测、人机交互和虚拟现实等。

注视点估计方法可分为基于模型的方法和基于外观的方法。基于模型的注视点估计方法一般通过专用设备实现，但由于工作距离短(通常在60cm以内)和野外失败率高，大多局限于实验室环境。基于外观的方法只需要一个网络摄像头来捕捉图像，直接学习从图像到注视点位置的映射关系，并且由于卷积神经网络CNN在学习非常复杂的映射函数方面的优势，其性能显著优于经典方法，因此提出了基于CNN的注视点估计方法，通过脸部图像或眼睛图像，预测出注视点位置，并取得了较好的效果。

然而，现有的基于CNN的注视点估计方法，都是估计双眼视线汇聚的注视点坐标，在一些特定应用场景却需要单眼的注视点信息，如：精神疾病诊断、注意力检测等，需要根据两眼各自的视线落点信息，计算两眼的差异性。此外，现有的基于CNN的注视点估计方法只将人脸图像和眼睛图像视为独立或平行特征源输入，模型无法从众多信息中选择出对当前任务目标更关键的信息。

发明内容

本发明的目的是提供一种基于混合注意力机制的单眼注视点估计方法及系统，能够准确预测单眼的注视点信息。

为实现上述目的，本发明提供了如下方案：

第一方面，本发明实施例提供的一种基于混合注意力机制的单眼注视点估计方法，包括：

获取目标人脸图像信息；所述目标人脸图像信息包括目标人脸图像、目标单眼图像以及所述目标单眼图像中的眼睛在所述目标人脸图像上的位置信息；

基于所述目标人脸图像信息和单眼注视点估计模型，确定所述目标人脸图像对应的单眼注视点预测信息；

所述单眼注视点估计模型是基于混合注意力机制的卷积神经网络确定的；

所述基于混合注意力机制的卷积神经网络包括第一卷积、第二卷积和全连接层；所述全连接层的第一输入端与所述第一卷积的输出端连接；所述全连接层的第二输入端与所述第二卷积的输出端连接；

在预测阶段，所述第一卷积的输入端用于输入所述目标单眼图像；所述第二卷积的输入端用于输入所述目标人脸图像；所述全连接层的第三输入端用于输入所述目标单眼图像中的眼睛在所述目标人脸图像上的位置信息；所述全连接层的输出端用于输出所述目标人脸图像对应的单眼注视点预测信息；

所述第一卷积的网络结构与所述第二卷积的网络结构相同；所述第一卷积和所述第二卷积均包括多个且依次连接的卷积注意力单元；其中，按照数据流传输方向，所述卷积注意力单元包括依次连接的卷积层、通道注意力子单元和空间注意力子单元。

可选地，所述获取目标人脸图像信息，具体包括：

对从目标人脸图像中截取的单眼图像进行尺寸调整，得到目标单眼图像；所述目标单眼图像的尺寸与所述目标人脸图像的尺寸相同；

基于所述目标单眼图像和所述目标人脸图像，计算所述目标单眼图像中的眼睛在所述目标人脸图像上的位置信息。