[发明专利]一种基于头部时序信号校正的眼动交互方法及装置

说明书

本发明公开了一种基于头部时序信号校正的眼动交互方法与装置，属于计算机视觉技术领域。所述方法包括：采集大量连续多帧双眼图像以及对应的头部运动时序信息、实际屏幕注视点坐标，并对采集到的数据进行预处理；使用所采集的大量数据训练深度卷积网络注视点预测模型，获得连续多帧双眼图像和头部运动时序信息到预估注视点坐标的映射关系；将已有或实时采集数据输入已完成训练的深度卷积网络注视点预测模型，获取预估注视点。本发明融合头部时序信号与眼部图像时序信号，使用深度学习强大的特征处理能力，能准确快速估计人眼注视点；通过预先训练深度卷积网络注视点预测模型，新用户使用时无需校正，直接佩戴头戴式眼动仪即可进行实时眼动交互。

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种基于头部时序信号校正的眼动交互方法及装置。

背景技术

眼动交互技术是通过眼部电信号，光信号，图片信号等多种方式对人的眼部注视方向状态进行跟踪，然后以此进行人机交互的方法，在未来的人机交互中具有巨大的应用潜力。可输入、输出的外部设备和相应的软件即键盘、鼠标、各种模式识别设备可以完成传统的人机交互，但传统的人机交互多为手动操作，有时会配合语音操作，其存在着一定的制约因素，比如对于上肢不方便的残疾人或者军事对战中的飞行员来说，传统的人机交互使用起来就十分不便。当在人机交互的过程中应用眼动技术时，就是将眼睛的运动情况作为一个输入设备。当用户眼部移动时，通过估算人眼视线在头戴式屏幕中的落点，实现人与计算机进行交互。作为一种更自然、更直接的输入方式，可以极大地提升人机交互的便捷度。

目前眼动交互方法主要是使用眼部视频的光学记录法，通过眼部相机获取双眼图像，然后使用眼部图像信息获取眼睛的注视方向或者屏幕注视点，其中分为基于几何模型的传统方法以及基于外观的深度学习方法。但是这些方法使用单纯的眼部图像信息，而图像信息对环境亮度、人眼开阖程度要求比较高，使得这些方法普遍出现在复杂环境中鲁棒性较差的问题。

在自然环境中，人在注视方向发生改变时会不自觉的发生相应的头部运动，并已有科学研究证明眼部注视方向与头部运动具有强相关性，但发明人在实现本发明的过程中，注意到目前的眼动交互技术领域并没有结合头部运动时序信息。同时，人眼运动生理学认为人眼眼动分为追踪，扫视及凝视等方式，有一定运动规律可循，这些眼动时序信息在眼动交互领域也并未得到充分的利用。

发明内容

有鉴于此，本发明提供的一种基于头部时序信号校正的眼动交互方法及装置，主要目的在于通过整合人眼图像、眼动时序信息与头部运动时序信息，解决传统眼动交互方法对环境亮度、人眼开阖程度较为敏感，在复杂环境中鲁棒性较差，精确度不高的问题。

根据本发明一个方面，提供了一种基于头部时序信号校正的眼动交互方法，该方法包括步骤：S1：采集连续多帧双眼图像以及对应的头部运动时序信息、实际屏幕注视点坐标为第一采集数据；采集大量不同人员在不同场景下的所述第一采集数据为第一采集数据组，对所述第一采集数据组中的数据进行预处理；S2：使用所述第一采集数据组训练深度卷积网络注视点预测模型，获得所述连续多帧双眼图像和所述头部运动时序信息到预估注视点坐标的映射关系：S3：将已有或实时采集的所述连续多帧双眼图像以及对应的头部运动时序信息进行所述预处理后，输入已完成训练的所述深度卷积网络注视点预测模型，获取所述连续多帧中最后一帧双眼图像所对应的预估注视点。

作为本发明的进一步改进，对所述第一采集数据进行预处理包括：通过头戴式设备的近眼摄像头采集佩戴所述头戴式设备的人员的所述连续多帧双眼图像数据，对所述连续多帧双眼图像数据进行预处理，获取每一帧双眼图像标准化向量数据；通过所述头戴式设备中的陀螺仪采集所述人员的所述头部运动时序信息数据，对所述人员的所述头部运动时序信息进行预处理，获取每一帧头部运动一维向量数据；所述实际屏幕注视点坐标为AR屏幕建立相对坐标系下的相对于屏幕左上角的相对坐标，取值范围为[0，1]。