[发明专利]一种差分式二维注视点检测方法及装置

说明书

本申请公开了一种差分式二维注视点检测方法及其装置，属于视觉分析技术领域。方法包括：采集测试者注视预设校准点时的面部图像以及注视待测点的面部图像；根据特征抽取神经网络、采集的校准数据，计算得到测试者的校准图像特征以及待检测图像特征；根据校准图像特征、待检测特征得到测试者注视点在屏幕上的坐标；对多次校准得到的预测结果进行加权求和，由此，得到测试者的注视点序列，从而快速、准确地挖掘出其感兴趣的区域。

技术领域

本发明涉及视觉分析技术领域，特别是指一种差分式二维注视点检测方法及装置。

背景技术

眼动检测与分析技术受到了广泛的关注，在虚拟现实、人机交互、医疗健康等领域发挥着重要的作用。基于视线移动、眨眼等动作进行交互可以有效提升用户体验，在虚拟现实环境拥有可观的应用前景。在医疗健康领域，眼动信号被认为与患者的心理状态紧密相关，眼动信号的分析对于心理疾病的早期发现有着重大意义。

早期的眼动检测方法主要依赖于红外眼动仪等专业设备，其便携性与易用性限制了其在移动端的使用，同时，对眼部图像采集也有着较高的要求。近年来，基于通用摄像头的视线检测方法取得了一定的进展，但通常基于特定的设备进行设计。因此，如何快速、广泛地在便携移动设备进行眼动检测是一个有价值的问题。

相关技术中，眼动检测的预测目标主要分为两种：一种是三维视线检测，一种是二维注视点检测。前者的预测目标为三维的视线方向，表示测试者的视线的朝向，其中，双目有各自的输出结果。后者的预测表面是二维平面的上的一个点。

相关技术中，眼动检测的技术主要分为两种：一种是基于模型的方法，一种是基于外观的方法。前者需要采集分辨率较高的测试者图片，早期的方法通常使用红外设备等对瞳孔、虹膜进行定位，而后对测试者的眼球等进行几何结构的建模，从而完成预测，该类方法的预测误差高度依赖于输入图片的质量以及对眼球的几何建模。后者通常使用分辨率相对较低的图片，借助机器学习方法，尤其是深度学习方法对图片的特征进行分析，最终输出预测结果。

但是，现有的基于外观的方法大多是针对固定型号的设备进行设计，这些设备的尺寸、相机参数等容易获得，基于这些设备采集的数据、设计的模型需要经过进一步的转换才能适用于其他的设备。

发明内容

本发明实施例提供了一种差分式二维注视点检测方法及装置。所述技术方案如下：

一方面，提供了一种差分式二维注视点检测方法，该方法包括以下步骤：

S1：获取屏幕预设的校准点的坐标，以及测试者注视校准点的校准图片；其中，校准图片中包括测试者的人脸图像；

S2：获取测试者注视待检测点的待检测图片，其中，待检测图片中包括测试者的人脸图像；

S3：将得到的校准图片、校准点的坐标以及待检测图片输入至深度神经网络的特征提取层；通过特征提取层对图片进行人脸特征提取、双目特征提取；提取后得到待检测图片特征向量以及校准图片特征向量；

S4：将待检测图片特征向量以及校准图片特征向量送入多层感知机，输出待检测注视点与校准点的物理相对位移；将相对位移与校准点的位置进行叠加，得到预测结果。

可选地，获取屏幕预设的校准点的坐标，以及测试者注视校准点的校准图片，包括：

S11:设定屏幕的坐标（0.0）点，并在屏幕上预设校准点，确定校准点的坐标；

S12:使测试者注视屏幕上的校准图像，采集测试者面部图片；

S13:获取屏幕上校准点的坐标，输出一张校准图片。

可选地，获取测试者注视待检测点的待检测图片，包括：

S21：使测试者注视屏幕上的检测点，采集测试者面部图片；