[发明专利]一种基于脑电辅助的增强现实眼镜眼动交互自标定方法

说明书

本发明公开一种基于脑电辅助的增强现实眼镜眼动交互自标定方法。首先，收集大量眼动图片及相应的增强现实眼镜内三维注视点；其次，通过深度神经网络模型拟合眼动图片到注视区域的映射关系；最后，在人员使用眼动交互不准时，启动脑电辅助模块进行眼动辅助自标定，利用脑电辅助模块在眼动注视不准确区域内确定精确的注视点，进而进行眼动参数自标定。利用上述方法，不需要繁琐的标定步骤，可以鲁棒精确地预测人员眼动注视3D点信息，并且支持人员随时调整眼镜佩戴方式，使用方便快捷，能够为增强现实眼镜提供鲁棒的眼动交互自标定技术，为手脚不方便人员提供高效的眼动交互技术。

技术领域

本发明涉及人机交互、眼动交互、脑机接口、机器学习等领域，尤其涉及到一种基于脑电辅助的增强现实眼镜眼动交互自标定技术。

背景技术

增强现实眼镜是下一代智能终端的代表，相对于个人计算机、智能手机等终端，增强现实眼镜展示的信息更丰富更立体更便捷。人机交互是智能终端的核心组成元素，相对于计算机的鼠标键盘、智能手机的触屏等交互方式，增强现实眼镜需要开发符合自身应用特性的交互方式。眼动作为人员最直接、最自然的行为交互模式，是增强现实眼镜交互中的核心指向交互方式；但当前眼动交互方式需要复杂的标定程序，指向精度较低，并且在人员调整眼镜后需要重新标定，使用效率低。其次，增强现实眼动交互能够为手脚不便患者提供高效的人机交互方式，能够为残障患者提供新的生活交互工具。

眼动的便捷高精度测量是眼动人机交互的核心问题，但当前眼动测量主要面临以下几个困难：需要繁琐的标定步骤，用户在使用眼动交互时，必须先进行眼动参数标定，以确定眼睛相机的外参数，以及视场相对于眼睛的参数；标定结束后，人员无法再进行眼镜佩戴方式调整，如调整需重新标定；以上繁琐标定过程非常繁琐，人员使用非常不便，特别是对于手脚不便患者难以使用。再者，眼动指向测量精度较低，这是因为当前眼动测量方法是通过二维黑白图像预测三维眼球的朝向，再结合标定获得的映射矩阵将三维眼球方向映射到视场空间，如此方式非常依赖映射矩阵的精确性，其次映射矩阵只是眼珠方向到视场的映射关系的理论近似，并不能完全描述精确的映射转换关系。

发明内容

本发明的目的是通过以下技术方案实现的。

鉴于增强现实眼镜眼动交互实际应用问题，本发明的目的在于提供一种基于脑电辅助的增强现实眼镜眼动交互自标定技术，能够在不标定的情况下，进行眼动交互；能够让人员在交互过程中，可以随时调整增强现实眼镜的佩戴方式；并且能够精确地预测人员注视点。

根据本发明的第一个方面，提供了一种基于脑电辅助的增强现实眼镜眼动交互自标定方法，包括：采集眼动图片及相应的增强现实眼镜内三维注视点信息；通过深度神经网络模型拟合所述眼动图片到注视区域的映射关系；利用脑电辅助模块在所述注视区域内进行注视点修正，进而进行眼动参数自标定。

优选的，所述采集眼动图片及相应的增强现实眼镜内三维注视点信息，包括：采集人员与增强现实眼镜交互时的眼动图片；在增强现实眼镜内，随机生成注视点，人员在确认注视生成点时，同步保存眼动图片和注视点信息；采集不同人员在不同佩戴方式下的批量样本。

优选的，所述采集眼动图片使用以下相机中的一种：灰度相机、彩色相机、红外相机，并结合图像增强拍摄技术。

优选的，所述深度神经网络模型采用双通道网络模型，双通道分别对左右眼睛图像进行特征处理，获得左右眼动图像的深度特征。

优选的，进一步包括：将采集的眼动图片作为输入，并将其对应的注视点信息作为输出，训练深度神经网络参数。

优选的，所述通过深度神经网络模型拟合所述眼动图片到注视区域的映射关系，包括：左、右眼动图像分别通过各自神经网络通道进行特征提取；将左右眼图像特征进行融合，获得融合特征；根据所述融合特征，进行神经网络特征处理；利用全连接层，将所述融合特征映射到注视区域。

优选的，通过所述深度神经网络模型预测获得所述注视区域。